llama.cpp’nin 7 Kasım ön sürümü, önbellekte bulunmayan model uzmanlarının bir bölümünü aygıta aktarmak yerine ana işlemcide hesaplama seçeneği ekledi. Bir ayar aracı, makinede denemeler yaparak önbellek büyüklüğü ve işlemci payı öneriyor. Paylaşım başlamadan önce önbellek yuvaları dolduruluyor; bu davranış, yüksek işlemci payında ilk dolumun yavaşlamasını önlemeyi amaçlıyor.
Yapay Zekâ··Öğle
Önbellekte bulunmayan uzmanlar ana işlemcide hesaplanabiliyor
Yerel model çalıştırma motoru llama.cpp, 7 Kasım tarihli b12191 ön sürümünde önbellekte bulunmayan uzmanların hesabını bölüştürebiliyor. Uzmanlar karışımı modelleri, her adımda uzman adı verilen bileşenlerin seçilmiş bir bölümünü kullanıyor. Kullanıcı artık eksik uzmanların bir bölümünü, ağırlıklarını hesaplama aygıtına taşımak yerine ana işlemciye verebiliyor. Ayar, ilgili makinedeki veri aktarımı ile işlemci hesabının payını değiştiriyor.[1]
İşlemci paylaşımı önbellek dolduktan sonra başlıyor
Aygıt önbelleğindeki hesap ile ana bellekte tutulan uzman ağırlıklarına dayalı işlemci hesabı ayrı yürütülüyor; sonuçları sonradan birleştiriliyor. Boş önbellek, grubundaki yuvalar dolana kadar eksik uzmanları yüklemeyi sürdürüyor. Seçilen işlemci payı ancak bundan sonra uygulanıyor. Dolum kuralı, kullanıcı hesabın büyük bölümünü işlemciye verdiğinde önbellekte uzman birikmesinin yavaş kalmasını önlemeyi amaçlıyor.[1]
Ayar aracı öneri vermeden önce makinede deneme yapıyor
Eşlik eden araç, sunucuyu 2 önbellek büyüklüğünde ve 3 işlemci payında çalıştırıyor. Aktarım ve işlemci hızlarını yaklaşık olarak belirledikten sonra gözlenen uzman yönlendirmeleriyle başka ayarları benzetimden geçiriyor. Çıktıda önbellek büyüklüğü ve işlemci payı için komut seçenekleri öneriliyor. Öneriler o makinenin ölçümlerine bağlı; sürüm bütün donanımlara uygulanabilecek sabit bir hız kazancı sunmuyor.[1]
