LoRA karşılaştırmasında yalnızca etiketle eğitim, finans uyarlamasında öne çıktı
Yeni bir ön baskı, finans haberlerini sınıflandıran bir modelin eğitiminde yalnızca yanıt etiketlerini kullanmayı, büyük bir modelin yazılı gerekçelerini eklemekle karşılaştırıyor. Yalnızca etiketle uyarlama, genel yetenekleri başlangıç düzeyine yakın tutarken görev ölçülerini iyileştirdi. Tam gerekçe, ayrı uyarlayıcılar ve kısaltılmış açıklamalar, eşleştirilmiş eğitim koşullarında bu kazanımları aşamadı. Deneyler tek bir öğrenci model üzerinde yürütüldü.
Yapay Zekâ··Akşam
Finans haber başlıkları eğitim örneği oluyor
NVIDIA araştırmacıları, Qwen3-8B modelini finans haber başlıklarını sınıflandırmaya uyarlamak için farklı eğitim yöntemlerini karşılaştırdı. Ön baskıda FinHeadlineMix kümesinden 200.000 örnek kullanıldı. Etiketleri ve yazılı gerekçeleri daha büyük bir öğretici model oluşturdu. Düşük sıralı uyarlama yöntemi LoRA, ana model sabit kalırken sınırlı sayıdaki ek ağırlığı eğitiyor. Bir eğitim düzeni yalnızca son etiketi öğrendi. İkincisinde gerekçeyle etiket birlikte verildi. Üçüncüsünde ise uyarlayıcı kapasitesi, bu iki eğitim işaretine ayrı ayrı bölündü.[1]
Sınıflandırma görevinde etiketler önde
Yalnızca etiketle eğitim, genel yetenekleri değiştirilmemiş modele yakın tutarken finans görevindeki sonuçları iyileştirdi. En büyük kazanımlar, olasılıkların sonuçlarla uyumu ve doğru sınıfın en yüksek olasılığı alması alanlarında görüldü. Öğretici modelin tam gerekçeleri eklendiğinde, eşleştirilmiş koşullardaki görev ölçüleri yalnızca etiket kullanan düzenin gerisinde kaldı. Geniş bilgi kıyaslamasında küçük artış görülebildi; öteki genel yetenek sınamaları çalıştırmalar arasındaki olağan değişim içinde kaldı. Araştırmacılar, her eğitim koşulunu üç ayrı başlangıçla değerlendirdi ve hem alan içi hem genel yetenek sonuçlarını karşılaştırdı.[1]
Kısaltılmış gerekçeler ve bölünmüş uyarlayıcılar
Kapasiteyi gerekçe ve etiket için iki uyarlayıcıya bölmek karşılaştırmada ek kazanım getirmedi. Araştırmacılar ayrıca öğretici modelden, eğitim öncesinde gerekçelerini farklı hedef uzunluklara indirmesini istedi. Daha kısa özetler, olasılıkların sonuçlarla uyumunu yalnızca etiket kullanan düzenin düzeyine yaklaştırdı ancak ona erişmedi. Deneyler aşamalı eğitim ayarı aramasını izledi. Tek bir öğrenci model ve finans sınıflandırma görevinin yanında bilgi, bilimsel akıl yürütme ve yönerge izleme sınamaları kullanıldı; sonuçlar bu görev ve eğitim düzenine dayanıyor.[1]