Eigen RadarYapay Zekâ
Arşiv
Analiz

TorchTPU, Google’ın yapay zekâ çiplerini PyTorch iş akışlarına bağladı

Google, PyTorch uygulamalarını kendi yapay zekâ hızlandırıcılarında çalıştırmak için TorchTPU’yu açık kaynak olarak yayımladı. Hugging Face de Transformers ve Diffusers dâhil model kitaplıklarına destek ekledi. Geliştiriciler, alıştıkları kodu koruyarak farklı donanım seçebiliyor. Doğrudan yürütme, derleme ve birden fazla çiple çalışma, sunulan yöntemler arasında yer alıyor.

Yapay Zekâ··Gece
Hayalî bir makine atölyesinde farklı boyutlardaki model kasetleri, arkaya uzanan ortak hızlandırıcı taşıyıcısına bağlanıyor.

Google çiplerine doğrudan PyTorch yolu

Google, PyTorch ile geliştirilen uygulamaları kendi yapay zekâ hızlandırıcılarında çalıştıran TorchTPU’yu açık kaynak olarak yayımladı. TPU, Google’ın tensör işleme birimi adını verdiği çip ailesi. Model kitaplıkları geliştiren ve modelleri barındıran Hugging Face de Transformers, Diffusers ve Kernels kitaplıklarına doğrudan destek ekledi. Geliştiriciler, olağan PyTorch kodunu koruyup hedef aygıt olarak TPU’yu seçebiliyor. Böylece model geliştirmede yaygın kullanılan yazılım ile Google’ın hesaplama donanımı arasında doğrudan bir bağlantı kuruluyor.[1], [3]

PyTorch kullanıcıları bu çiplere daha önce PyTorch/XLA üzerinden erişiyordu. Hugging Face, önceki yöntemin hesaplamaları ertelediğini ve bazı değişikliklerde hesaplama çizgesinin yeniden derlenmesini gerektirdiğini anlatıyor. Şirketin Optimum TPU paketi, modelleri bu altyapıda çalıştırmaya yardımcı oluyordu. Hugging Face, Transformers ve Diffusers üzerinden sunulan yeni doğrudan destek için artık bu pakete gerek kalmadığını belirtiyor. Hesaplamaların ne zaman yürütüldüğü, önceki yöntemde hata ayıklamayı da etkileyen özellikler arasındaydı.[1]

Modeller doğrudan çalışabiliyor veya derlenebiliyor

Transformers, modeli seçilen aygıta yüklüyor ve varsayılan olarak işlemleri bekletmeden yürütüyor. TorchTPU ayrıca derleme ve dağıtık eğitim desteği sunuyor. TPU için uyarlanmış Pallas hesaplama çekirdekleri, donanıma yakın düzeydeki işlemleri yerine getiriyor. Hugging Face’in Kernels kitaplığı, Tokamax uygulamaları dâhil bu çekirdekleri yükleyerek model kitaplıklarında kullanabiliyor. Aynı model tanımının farklı yürütme seçeneklerine bağlanması, yeni desteğin işleyişinin parçaları arasında.[1]

Diffusers, geliştirme sırasında doğrudan yürütme, kullanıma alma aşamasında ise isteğe bağlı derleme sunuyor. İlk derlemenin ardından aynı görüntü boyutuyla yapılan çağrılar hesaplama çizgesini yeniden kullanıyor. Tek çipe sığmayan modeller, yükleme sırasında birden fazla çipe bölünebiliyor. Hugging Face, Cloud TPU üzerinde görüntü ve video üretimi örnekleriyle bu yöntemi açıklıyor; modelin tamamının tek bir çipe yüklenmesi gerekmiyor.[1]

Uygulama taşıma araçları da sunuldu

Google; Meta, Hugging Face, Inferact ve RadixArk ile yerleşik araçların desteği için çalıştığını belirtiyor. TPU agent suite adlı eylemci araç takımı, uygulamaları taşımaya ve geçiş sırasında çıkan hataları gidermeye yardımcı olmayı amaçlıyor. Hugging Face ise bazı TPU sınamalarının hâlâ başarısız olduğunu bildiriyor. Her gece sınama yapma ve sonuçları ortak panoda gösterme çalışmaları sürüyor. Hugging Face, bildirdiği 34 TorchTPU sorunundan 19’unun giderildiğini belirtiyor; her gece TPU sınaması yapma çalışmaları devam ediyor.[1], [2]

Kaynakça

  1. Haber kaynağıHugging FaceHugging Face, model kitaplıklarına doğrudan TPU desteği ekledi↩1↩2↩3↩4↩5
  2. Haber kaynağıTechCrunchGoogle, PyTorch uygulamalarını kendi yapay zekâ çiplerine taşıyan TorchTPU’yu açtı↩
  3. Haber kaynağıGoogle CloudGoogle, doğrudan PyTorch desteği sunan TorchTPU’yu açtı↩
YZ güvenliği ve regülasyonÇip savaşları ve tedarik zinciriSınır modeli yarışı

Aynı masadan diğer analizler

Yapay Zekâ masasındaki tüm Gündem analizlerini görüntüle →