Microsoft, uzman modellerin hesaplarını işlemci ile grafik birimi arasında paylaştırıyor
ONNX Runtime 1.32, uzman karışımı modellerin merkezi işlemci ile grafik biriminde birlikte çalışması için planlama ve bellek denetimi ekliyor. Ağırlıkların yüklenmesi ve eklentilerin çekirdekle uyumu da değişiyor. Microsoft’un mevcut modelleri çalıştıran yazılımındaki bu yeniliklere, Apple platformları için paket dağıtımında planlanan geçiş eşlik ediyor. Sürüm, yeni bir dil modeli tanıtmak yerine çalıştırma altyapısını yeniliyor.
Yapay Zekâ··Sabah
Uzman ağırlıkları iki işlemci türüne dağılıyor
Microsoft’un eğitilmiş yapay zekâ modellerini çalıştıran ONNX Runtime yazılımı, uzman karışımı modellerde her oturum için karma çalıştırma planı oluşturuyor. Uzman karışımı, hesapları model içindeki uzman bölümlere dağıtan yapıyı anlatıyor. Yeni 1.32.0 sürümü, merkezi işlemciyle grafik işlem birimi arasında iş paylaşırken bellek bütçesini izliyor. Daha düşük sayısal duyarlılıkla saklanan uzman ağırlıkları ortak yerleşimli işlemci çekirdeklerinden yararlanabiliyor. Belleğe eşlenen dosyalardan ağırlık okuma da destekleniyor.[1]
Model paketlerinde ağırlık yönetimi değişiyor
Yeni arayüzlerle aygıtın bellek kapasitesi sorgulanabiliyor. Derleme kipleri, model bağımlılıklarıyla ağırlık bağımlılıklarını birbirinden ayırabiliyor. Python bağları taşınabilir paket oluşturma, yükleme ve paket çeşidi seçme olanağı veriyor. Birden fazla çalışan, dış ağırlıkları grafik birimine aktarmak için sabitlenmiş bellekte hazırlayabiliyor. ONNX 1.23.2 ve işlem kümesi 28 desteğine; çizge doğrulama, model yükleme ve bellek alanlarının kullanım ömrüne ilişkin düzeltmeler eşlik ediyor.[1]
Eklentilerin çekirdekle eşleşmesi gerekiyor
Eski TensorRT RTX köprüsünün yerini NVIDIA’nın ayrı eklentisi alıyor; Arm Compute Library sağlayıcısı kaldırılıyor. Microsoft, çekirdekle eklentinin işlem şemaları uyuşmadığında yanlış çalıştırma veya çökme yaşanabileceğini belirtiyor. Uyuşmazlık, eklenti kaydedilirken saptanamayabiliyor. Apple platformlarındaki dağıtımda da geçiş var: Swift Package Manager’a geçilmeden önce CocoaPods üzerinden yayımlanan son paket bu sürüm olacak.[1]