TRL kayıp hesabını düzeltirken vLLM ve llama.cpp yeni model yollarını, Ultralytics ise Ascend dışa aktarımını ekledi. Dört sürüm, model desteğinin eğitim, çalışma zamanı ve donanım basamaklarını birlikte görünür kılıyor.
Yapay Zekâ··Sabah
Son eğitimde doğru hesap
Hugging Face'in TRL 1.9.1 sürümü, üretim başına adım sayısı ile gradyan biriktirme adımları farklı olduğunda DAPO, CISPO ve VESPO kayıplarının yanlış normalleştirilmesini düzeltiyor. vLLM sunucu kipindeki iletişim başlatma güncel API'ye uyarlanırken kuyruk bekleme süresi ölçümü de onarılıyor. Liger yolu Ampere öncesi GPU'larda, DeepSpeed hazırlığı ise CPU'ya aktarılan iyileştiriciyle yaşanan çökmeler için düzeltme alıyor. Bazı geliştirme sürümlerinden kaçınmak üzere iki bağımlılık geçici olarak sabitleniyor.[1]
İki çalışma zamanında yeni model yolları
vLLM 0.26, Inkling için modelleme, LoRA, spekülatif kod çözme ve NVFP4 nicemlemeyi ekliyor; dikkat arka ucu her KV önbellek grubu için ayrı seçilebiliyor ve önbellek CPU'ya veya nesne deposuna aktarılabiliyor. llama.cpp b10142 ise MiniMax-M3'ün metin modeli, görüntü kulesi, çoklu ortam izdüşümü ve seyrek dikkat yolunu getiriyor. Dizinleyici CUDA'ya taşınırken istem önbelleği açılıyor ve önbellek hesabı 32 bit kayan noktaya geçiyor. İki projenin bildirdiği hız sonuçları farklı düzeneklere ait olduğu için ortak bir kıyas oluşturmuyor.[2], [3]
Donanıma özgü dışa aktarım
Ultralytics 8.4.107, YOLO modellerini CANN üzerinden Ascend 310P3 veya 310B4 gibi hedefler için statik biçimli FP16 `.om` paketlerine aktarabiliyor. Algılama, bölümleme, poz, döndürülmüş kutu, sınıflandırma ve derinlik görevleri kapsama giriyor. Dışa aktarım bağlı Ascend aygıtı olmadan Linux'ta yapılabiliyor; çalıştırma için CANN çalışma zamanı ile `ais_bench` gerekiyor. Sürüm notları bu yol için ölçülmüş hız sonucu vermiyor. Böylece dört güncelleme, doğru kayıp hesabından model çalışma zamanına ve donanıma özgü pakete uzanan ayrı destek basamaklarını tamamlıyor.[4]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
