Uyarlamanın iki sonucu
Muon ile daha düşük ön eğitim kaybına ulaşan bir model, yeni bir göreve uyarlanırken eski bilgisini ne kadar koruyor? Carnegie Mellon University araştırmacılarının yeni önbaskısı bu soruyu 30 milyon ile 600 milyon parametre arasında OLMo tarzı modellerle sınadı. GSM8K, StackMathQA, Alpaca ve MusicPile üzerinde uyarlama yapılırken hem yeni görevdeki kayıp hem ayrılmış DCLM verisindeki kayıp ölçüldü. Böylece yeni görevi öğrenmenin bedeli de görünür hale geldi: bir görevde ilerleyen modelin ön eğitim dağılımındaki başarısı gerileyebiliyor.[1]
Bu deneyin bence en yararlı tercihi, tek bir uyarlanmış modeli kazanan ilan etmek yerine öğrenme ile unutma arasındaki ulaşılabilir dengelere bakması. Öğrenme hızını düşürmek eski bilgiyi korurken yeni göreve uyumu sınırlayabilir; artırmak ters yönde bir bedel doğurabilir. Araştırmacılar bu seçenekleri tarayıp en iyi dengelerin sınırını karşılaştırıyor. En düşük ön eğitim kaybına göre seçilen başlangıç modelinin, sonraki kullanım için de en elverişli başlangıç olduğu varsayımı böylece doğrudan sınanıyor.[1]
Yön değişiminin olası mekanizması
Sonuç, veri bütçesiyle yön değiştiriyor. Muon küçük bütçelerde daha elverişli bir denge sağlarken yeterli ön eğitim verisinden sonra AdamW öne geçiyor. StackMathQA deneyinde bu geçişin belirteç/parametre oranı, 30 milyon parametreli modelde 320, 600 milyon parametreli modelde 10. Geçiş noktası göreve göre değişiyor. Üstelik yön değişimi yalnızca en düşük ön eğitim kaybına göre seçilen ayarlarda görülmüyor; en iyi uyarlama sınırını arayan taramada da sürüyor. Bu ayrıntı, sonucun başlangıç modelini seçme kuralından ibaret olabileceği açıklamasını daraltıyor.[1]
Yazarların önerdiği açıklama, yanıt puanlarının yerleşiminde. Doğru yanıtın puanını yanlış yanıtların ortalamasından ayıran uzaklığı, yanlış puanların dağılım genişliğine bölüyorlar. Oran büyüdükçe küçük bir çıktı değişikliğine karşı daha geniş bir dayanıklılık payı oluşuyor. Ölçünün veri bütçesiyle değişimi, uyarlama dengesindeki yön değişimine paralel. Bu, unutma farkının modelin başlangıçtaki çıktı yapısıyla bağlantılı olabileceğini düşündürüyor. Bununla birlikte ön eğitim kaybındaki fark ve görevin niteliği de dengeyi etkileyebilir; iki geçiş noktasının tam örtüşmemesi tek açıklamaya bağlanmayı güçleştiriyor.[1]
Kanıtın ölçeği, kararın son noktası
Kuramsal basamakta dikkat gerektiren bir değişiklik var: basitleştirilmiş doğrusal bellek modelinde Muon'un karşısına AdamW değil, gradyan inişi konuyor. Bir güncelleme için kanıtlanan ilişki ile dil modellerindeki deneysel eğilim aynı kapsamda değil. Basit model, bütçe arttıkça dayanıklılık farkının neden yön değiştirebileceğini incelemeyi sağlıyor. AdamW ile eğitilmiş büyük bir dil modelinin bütün uyarlama davranışını kanıtlamıyor. Bu ayrım, kuramı değersizleştirmeden, açıklamanın hangi adımının kanıt, hangi adımının deneyle kurulan bağlantı olduğunu belirginleştiriyor.[1]
Bu önbaskıdan çıkardığım uygulamalı sonuç, eniyileyici seçiminin değerlendirme son noktasına bağlanması gerektiği. Amaç daha sonra uyarlanacak bir modelse, başlangıç kaybının yanına uyarlama sonrası öğrenme ve bilgi koruma eğrileri de konmalı. Buradaki 600 milyon parametreye uzanan deneyler, daha büyük bütün modeller için hazır bir seçim kuralı vermiyor. Buna karşılık aynı model boyutu ve veri bütçesinde farklı uyarlama ayarlarını karşılaştıran bir sınama yolu sunuyor. Kararı taşıyan soru, eğitimin nerede en düşük kayba indiği kadar, model değiştirildiğinde hangi bilginin korunabildiği.[1]