Sıkıştırma deneyleri matematik, kod ve soru yanıtlama kayıplarını ayrı ölçtü
Tek bir ön baskı, dil modelinin koruması gereken yeteneklere göre budama, nicemleme ve bilgi damıtmayı karşılaştırıyor. Benzer bellek tasarrufu, matematik, kod ve soru yanıtlama görevlerinde farklı kayıplar bırakabiliyor. Araştırmacılar bu kayıpları öngören ilişkileri çeşitli model ayarlarında sınadı. Deneydeki soru yanıtlama adaylarında sayısal seçim, basit bir yöntem önceliğine kıyasla sınırlı ek yarar sağladı; sonuç bütün modellere genellenmiyor.
Yapay Zekâ··Akşam
Aynı tasarruf farklı yetenek kayıpları bırakabiliyor
Dil modelinin bellek ihtiyacını azaltmak, farklı görevlerde aynı başarı kaybını yaratmıyor. Tek ön baskı, ağırlıkların çıkarıldığı budamayı, daha az bit kullanılan nicemlemeyi ve küçük öğrenci model eğitilen bilgi damıtmayı karşılaştırıyor. Matematik, kod üretimi ve birden fazla belgeden yanıt çıkarma ayrı değerlendiriliyor. Her yetenek için model başına aynı 64 soru kullanılıyor. Böylece sıkıştırma ayarları değiştirilirken değerlendirmede kullanılan sorular sabit kalıyor.[1]
Küçük öngörü modeli de yeniden ayarlanıyor
Pythia modellerinde eğitim aşaması ile model büyüklüğü birbirinden ayrı değiştiriliyor. Aktarım denemeleri OLMo-2 ve ikinci bir budama ölçütüyle yapılıyor. Öngörü ilişkisinin biçimi farklı budama yoğunluklarında ortak kullanıldığında, matematik ve kod deneylerindeki ayar ölçümü sayısı yarıya düşüyor. Katsayılar ise her koşul için yeniden hesaplanıyor. Değerlendirmede doğru tamamlamanın olasılığı izleniyor; yanıtın doğruluğu ve kodun çalışıp çalışmadığı ayrıca denetleniyor.[1]
Yöntem seçiminin yararı göreve bağlı
Soru yanıtlama deneyinde sıkıştırma yöntemleri için sabit bir öncelik sırası, sınanan adaylar arasında sayısal seçime eşit pişmanlık ölçütü sağlıyor. Matematik ve kodda ek kazanım olanağı daha küçük. Damıtma deneyleri, aynı eğitim verisinin yoğun tekrarında yinelenen bir gider buluyor; net yarar ise değerlendirme verisinin dağılımına bağlı kalıyor. Bu yüzden bir kaybı öngörebilmekle, o öngörünün kullanım için daha iyi yöntem seçtirmesi ayrı sonuçlar olarak ele alınıyor.[1]
