Trainium eğitim testinde ilk adımdan önce uzun derleme bekleyişi
Amazon’un Trainium yongalarıyla yapılan bağımsız denemelerde, derlenmiş eğitim daha hızlı çalışırken başlangıçta uzun süre beklemek gerekti. SemiAnalysis, Qwen3-32B’yi Trainium2 üzerinde eğitti; Trainium3’te dikkat işlemlerini sınadı. Derleme süresi, yazılım uyumu ve ölçüm araçlarının kurulumu mühendislik işinin parçası olmaya devam ediyor. AWS’nin yeni derleyiciyle beklemeyi azaltma hedefi ise yayımlanan sonuçlardan ayrı duruyor.
Yapay Zekâ··Öğle
İlk eğitim adımında bekleyiş uzuyor
Amazon’un Trainium yongaları, makine öğrenmesi modellerini kurmak ve eğitmek için kullanılan PyTorch yazılımıyla araştırma eğitiminde sınanıyor. SemiAnalysis’in uygulamalı denemeleri Trainium2 ve Trainium3’ü kapsıyor. Mühendisler, ilk eğitim adımına kadar geçen sürenin sonraki adımlardan çok daha uzun olabildiğini gördü. Trainium2 üzerindeki Qwen3-32B modelinde ilk adım, işlemlerin doğrudan yürütüldüğü kipte 184,6 saniye sürdü. Çalıştırılacak kodun önceden hazırlandığı derlenmiş kipte ise bu süre 255,7 saniyeye çıktı.[1], [2]
Derlenmiş Qwen eğitimi başladıktan sonra hızlanıyor
Toplam 16 Trainium2 yongasında doğrudan çalıştırma, saniyede ortalama 11.099 belirtece ulaştı. Modelin işlediği metin parçalarını ifade eden belirteçlerde, derlenmiş çalıştırmanın hızı saniyede 14.156 oldu. Bu hızlar, ortalama sonraki adıma göre 30–55 kat uzun süren ilk adımın ardından ölçüldü. Ayrı bir gpt-oss 20B eğitim örneğini derlemek ise 27 dakika 17 saniye aldı. AWS, başlangıç bekleyişini kısaltmayı amaçlayan yeni bir derleyici yapısı geliştiriyor; bu iyileştirme henüz şirketin hedefi aşamasında.[1]
Trainium3’te dikkat testleri derleme süresine takıldı
Trainium3, modellerde kullanılan dikkat işlemlerini sınayan FlexAttention testlerinde 96 durumdan 89’unu geçti. Kalan yedi durum, sayısal hata üretmek yerine derleme için ayrılan süreyi aştı. Bunların tamamında dört örnekli yığın ve 8.192 uzunluklu dizi kullanıldı. Ekip, özel dikkat türlerinde Nvidia donanımıyla sayısal uyum da bildirdi. Amazon’un çalışma davranışını izlemeye yarayan Neuron Explorer aracı, donanım zaman çizgilerini ve bellek aktarımlarını gösteriyor. Mühendisler, aracın ilk kurulumunu ise karışık buldu.[1]
