BitNest, hızlı taslak üretimi ile yanıt doğrulamasını aynı ağırlık gösteriminde birleştiriyor. Araştırmacıların tek ön baskıda sunduğu yöntem, ayrı bir taslak model kopyası tutmadan düşük bitli tabanı kullanıyor. Jetson deneyinde belleğe sığan bağlam büyürken robotik görevde daha hızlı belirteç üretimi toplam eylemi hızlandırmadı. Kazanımın büyüklüğü, kullanılan karşılaştırma tabanına ve işin hangi aşamasının ölçüldüğüne bağlı kalıyor.
Dil modellerinin yanıt üretimini hızlandırmaya yönelik deneysel BitNest yöntemi, taslağı hedef modelin fiziksel ağırlık gösterimine yerleştiriyor. Taslak 4 bitlik tabanı okuyor; ek 4 bitlik düzeltme düzlemi doğrulama için 8 bitlik hedefi oluşturuyor. Araştırmacıların tek ön baskıda sunduğu yöntem, geçmiş bağlamı taşıyan anahtar-değer önbelleğine de aynı paylaşım ilkesini uyguluyor. Ayrı bir taslak ağırlığı kopyası tutulmuyor.[1]
Jetson Orin NX 16 GB cihazında yapılan LLaMA-2-7B-32K deneyinde çalıştırılabilir en uzun bağlam, FP16 için 2K, W8A8 için 6K ve BitNest için 10K olarak bildiriliyor. BitNest için PyTorch tepe ayırması 7,7 GiB; W8A8 için 8,2 GiB ve FP16 için 13,9 GiB olarak ölçülüyor. Bu ayırmalar, ayrıca ölçülen sistem genelindeki tepe bellek kullanımından farklı. Karşılaştırma FP16 tabanını ve zaten sıkıştırılmış bir seçeneği içeriyor.[1]
OpenVLA-7B robotik eylem deneyinde belirteç üretimi 135,6 milisaniyeden 100,8 milisaniyeye düşüyor. Toplam eylem gecikmesi ise 201,5 milisaniyeden 212,7 milisaniyeye çıkıyor. Girdinin ilk işlendiği başlangıç aşaması uzuyor. Mevcut büyük matris yolu, cuBLAS hesaplaması için ağırlıkları FP16 biçimine açıyor. Görsel kodlama her iki toplamın da dışında tutuluyor; yazarlar başlangıç işlemeye ayrılmış INT8 çekirdeğini henüz uygulamamış durumda.[1]
