Eigen RadarYapay Zekâ
Analiz

Microsoft, uzman modellerin hesaplarını işlemci ile grafik birimi arasında paylaştırıyor

ONNX Runtime 1.32, uzman karışımı modellerin merkezi işlemci ile grafik biriminde birlikte çalışması için planlama ve bellek denetimi ekliyor. Ağırlıkların yüklenmesi ve eklentilerin çekirdekle uyumu da değişiyor. Microsoft’un mevcut modelleri çalıştıran yazılımındaki bu yeniliklere, Apple platformları için paket dağıtımında planlanan geçiş eşlik ediyor. Sürüm, yeni bir dil modeli tanıtmak yerine çalıştırma altyapısını yeniliyor.

Yapay Zekâ··Sabah
Tezgâhta yan kapağı açık bir iş istasyonu yukarıdan görülüyor: soğutuculu işlemci, ekran kartı, bellek modülleri ve yanda yedek bellekler.

Uzman ağırlıkları iki işlemci türüne dağılıyor

Microsoft’un eğitilmiş yapay zekâ modellerini çalıştıran ONNX Runtime yazılımı, uzman karışımı modellerde her oturum için karma çalıştırma planı oluşturuyor. Uzman karışımı, hesapları model içindeki uzman bölümlere dağıtan yapıyı anlatıyor. Yeni 1.32.0 sürümü, merkezi işlemciyle grafik işlem birimi arasında iş paylaşırken bellek bütçesini izliyor. Daha düşük sayısal duyarlılıkla saklanan uzman ağırlıkları ortak yerleşimli işlemci çekirdeklerinden yararlanabiliyor. Belleğe eşlenen dosyalardan ağırlık okuma da destekleniyor.[1]

Model paketlerinde ağırlık yönetimi değişiyor

Yeni arayüzlerle aygıtın bellek kapasitesi sorgulanabiliyor. Derleme kipleri, model bağımlılıklarıyla ağırlık bağımlılıklarını birbirinden ayırabiliyor. Python bağları taşınabilir paket oluşturma, yükleme ve paket çeşidi seçme olanağı veriyor. Birden fazla çalışan, dış ağırlıkları grafik birimine aktarmak için sabitlenmiş bellekte hazırlayabiliyor. ONNX 1.23.2 ve işlem kümesi 28 desteğine; çizge doğrulama, model yükleme ve bellek alanlarının kullanım ömrüne ilişkin düzeltmeler eşlik ediyor.[1]

Eklentilerin çekirdekle eşleşmesi gerekiyor

Eski TensorRT RTX köprüsünün yerini NVIDIA’nın ayrı eklentisi alıyor; Arm Compute Library sağlayıcısı kaldırılıyor. Microsoft, çekirdekle eklentinin işlem şemaları uyuşmadığında yanlış çalıştırma veya çökme yaşanabileceğini belirtiyor. Uyuşmazlık, eklenti kaydedilirken saptanamayabiliyor. Apple platformlarındaki dağıtımda da geçiş var: Swift Package Manager’a geçilmeden önce CocoaPods üzerinden yayımlanan son paket bu sürüm olacak.[1]

Kaynakça

  1. Haber kaynağıMicrosoftONNX Runtime 1.32, uzman modellerini işlemci ile GPU arasında paylaştırıyor↩1↩2↩3