Yüklenecek ağırlıklar

Yerel asistanı dizüstüne ya da robota yerleştiren geliştiricinin ilk sorusu, uygulamanın belleğe sığıp sığmadığı. NVIDIA’nın 23 Ekim’de açtığı Bolt E4B ağırlıkları bu soruya somut bir başlangıç veriyor: model kartında toplam 8 milyar, etkin 4 milyar parametre; Q4_K_M biçiminde bir GGUF sürümü ve ayrı bir BF16 sürümü var. Aynı modelin bu iki biçimi, dağıtım kararının parçası. Geliştirici yalnızca modelin adını seçmiyor; hangi ağırlıkları yüklediğini de seçiyor.[1]

Toplam ve etkin parametre sayısını aynı bellek gereksinimi gibi okumak yanlış bir aygıt seçimine yol açabilir. Benim buradan çıkardığım sonuç, küçük bir etkin parametre sayısının bütün uygulama için ayrılmış bellek miktarını söylemediği. Daha düşük duyarlıklı ağırlıklar yer açabilir; buna karşılık çalışma yazılımının ve uygulamanın tuttuğu verilerin de aynı aygıtta yeri var. Farklı bir çalışma yazılımı bu giderleri azaltabilir. Bu yüzden belleği belirleyen şey yalnızca modelin büyüklüğü değil, yüklenen biçim ile uygulamanın birlikte nasıl çalıştığı.[1]

Aygıtta kalan alan

Bolt’un model kartı girdi ve çıktıyı metin olarak tanımlıyor. Yerel sesli asistan hedefi, sesin bu metin modeline nasıl ulaştığı sorusunu ortadan kaldırmıyor. Üstelik DFlash taslak modeli ayrı bir indirme ve ayrı bir çalıştırma seçeneği. Kartın örneği, ana modeli tek başına çalıştırmakla taslak modeli de yüklemek arasında açık bir seçim sunuyor. Ses işleme ya da taslak model ekleyen uygulamada, ana modelin dışındaki bileşenler de aygıt bütçesine giriyor.[1]

Bağlam sınırı da bu bütçenin kullanım koşulunu değiştiriyor. Kart, 64.000 belirtece kadar girdiyi desteklediğini belirtiyor; düşünme ve konuşma modları ise ayrı ayarlar. Uzun geçmişi koruyan bir yardımcıyla kısa komut alan bir cihaz arayüzü, aynı ağırlıkları kullansa da farklı iş yükleri oluşturuyor. Benim tercih ettiğim karşılaştırma, aynı cihazda, aynı bağlam uzunluğunda ve aynı yanıt sınırında yapılan uygulama sınaması. Kısa konuşmalarla çalışan bir ürünün daha az yer istemesi de makul bir alternatif; bütün kullanıcıları en uzun bağlama göre boyutlandırmak gereksiz donanım seçimine götürebilir.[1]

Bu yayının donanım açısından değeri, geliştiricinin artık indirilebilir ağırlık ve çalıştırma örneğiyle somut bir kurulum yapabilmesi. Model kartı da kullanım alanına özgü veriyle ek sınama istiyor. Satın alma kararında anlamlı sonuç, seçilen ağırlık biçimi, konuşma uzunluğu ve yardımcı bileşenler açıkken uygulamanın tamamının aygıta sığması. Daha küçük ana model, yanında başka bir işin çalışmasına alan açabilir. O alanın gerçekten kaldığı ise kurulmuş uygulamanın bellek ölçümünde görünür.[1]