RoleQ, model ağırlıklarını hesaplamadaki görevine göre sıkıştırıyor
RoleQ ön baskısı, dil modellerini çok az bitle saklarken hangi ağırlıkların ortak ölçek kullanacağını değiştiriyor. Seçim, bir doğrultunun girdileri okumasına veya çıktıları yazmasına göre yapılıyor. Üç değerli düzen, döndürmeyle kısa bir ölçek eğitimini birleştiriyor. Tek çalışmadaki deneyler depolama miktarını ve görev doğruluğunu ölçüyor; modelin yanıt üretme gecikmesi ölçülmüyor. Bazı küçük temsillerde kalite kaybı sürüyor.
Yapay Zekâ··Öğle
Ağırlıklar görevlerine göre ortak ölçek kullanıyor
Johannes Knittel, Alec Helbling ve Hanspeter Pfister’in önerdiği dil modeli sıkıştırma yöntemi RoleQ, ağırlıkların ortak ölçek kullanma biçimini değiştiriyor. Araştırmacıların 15 Ekim tarihli arXiv ön baskısı, girdiyi okuyan ve çıktıyı yazan doğrultulara farklı ölçek eksenleri atıyor. Tek çalışma, matrisin bellekteki düzeni yerine hesaplamadaki işlevine dayanan bir seçimi sınıyor. Böylece bütün matrislerde aynı yönü kullanma yaklaşımından ayrılıyor.[1]
Eğitimde ölçekler değişiyor, üç değerli kodlar sabit kalıyor
RoleQT adlı düzen, ağırlık temsilini döndürüp ağırlıkları üç olası değer kullanan kodlarla ifade ediyor. Kısa bir damıtma eğitimi, bu kodları sabit tutarak yalnızca ölçekleri ayarlıyor. Eksen seçme kuralı veriye dayalı arama gerektirmiyor; nicemleme çözücüsü yine de etiketsiz kalibrasyon girdileri kullanıyor. Yazarların bildirdiği temel Qwen3-8B düzeni ağırlık başına ortalama 1,59 bit kaplıyor. Ek üç değerli katmanlar, daha duyarlı ağırlıklara fazladan temsil kapasitesi ayırıyor.[1]
Depolama azalırken görev kalitesi de değişiyor
Kapasite eklenmesi ölçülen görev sonuçlarını iyileştirirken depolama miktarını artırıyor. Sınamalar, farklı Qwen boyutları ve bir Llama modeli üzerinde dil modellemeyi ve sınırlı sayıdaki görevi kapsıyor. Llama deneylerinin bir bölümünde üstünlük, karşılaştırılan diğer sıkıştırma yönteminde kalıyor. Yanıt üretme gecikmesi ölçülmüyor; küçük temsillerin bazılarında belirgin kalite kaybı sürüyor. Deneylerde dosya boyutu, görev doğruluğu ve çalıştırma hızı ayrı değerlendirmeler olarak kalıyor.[1]
