Eigen RadarYapay Zekâ
Analiz

Eşit eğitim bütçesinde yapay tercih verisi erken üstünlük sağladı

Araştırmacılar, insanlardan ve dil modellerinden elde edilen tercih verilerini tahmini etiketleme giderlerini eşitleyerek karşılaştırdı. Üç model ailesinde yapay veri, birkaç yüz dolarlık bütçede güçlü sonuçlara ulaşıp ardından durağanlaştı. İnsan verisi, yardımcı yanıt üretmede ancak çok daha yüksek bütçelerde yetişti; özetlemede incelenen aralık boyunca geride kaldı. Başarım, ağırlıklı olarak başka bir modelin yanıtlar arasındaki tercihleriyle ölçüldü.

Yapay Zekâ··Akşam
Sabah ışığı alan tuğla duvarlı geniş bir çatı katında, uzun masalarda tek tek oturan dört kişi, yan yana konmuş iki çıktı yanıtı karşılaştırıp kalemle tercih ettiklerini işaretliyor.

Örnek sayısı yerine eşit gider

Yeni bir ön baskı, insanlardan alınan ve modellerin verdiği tercih verilerini tahmini etiketleme giderlerini eşitleyerek karşılaştırıyor. Tercih verisi, son eğitim aşamasında iki yanıttan hangisinin daha çok beğenildiğini modele bildiriyor. Araştırmacılar, ağırlıkları açık üç model ailesini yardımcı yanıt üretme ve özetleme görevlerinde eğitti. Yapay veri hattı konuşmalarla aday yanıtları verdi; başka bir model yanıtları sıraladı. Ortak bütçe basamakları 100 dolardan 1.000 dolara uzanırken insan verisi için çok daha yüksek ek basamaklar kullanıldı.[1]

Yapay verinin kazanımı erken geliyor

Yapay tercih verisi, yaklaşık 200 ila 400 dolarlık bütçelerde güçlü sonuç verdi; ardından kazanımlar genel olarak durağanlaştı. Ortak bütçe düzeylerinde incelenen model ailelerinin tamamında insan verisine yetişti ya da onu geçti. Yardımcı yanıt üretmede insan verisi, 13.000 dolarlık basamakta rekabetçi hale geldi ve iki model ailesinde yapay verinin en yüksek sonucunu aştı. Özetlemede ise sınanan aralıkta yapay verinin en yüksek sonucunun altında kaldı. Başarım, ağırlıklı olarak üretilen yanıtları örnek yanıtlarla karşılaştıran bir modelin tercihleriyle ölçüldü.[1]

Fiyat varsayımları ve veri kaynakları

İnsan etiketlemesi için örnek başına 1,30 dolar varsayıldı; bu tutar her veri kümesinin geçmişteki gerçek giderinin hesabı değildi. Yapay verinin gideri, belirteç sayıları ve yayımlanmış hizmet fiyatlarıyla hesaplandı; üretici model için benzer büyüklükteki bir hizmetin fiyatı kullanıldı. İnsan verisinin varsayılan gideri 1,00 ile 1,60 dolar arasında değiştirildiğinde ana örüntü korundu. İnsan veri kümeleri de birbirinden belirgin ölçüde farklı sonuç verdi. İki veri türünü karıştıran bütçe paylaşımları genellikle en iyi tek kaynağı geçemedi. Eğitilen modeller yedi ila sekiz milyar parametre aralığındaydı.[1]

Kaynakça

  1. Haber kaynağıarXivİnsan ve sentetik tercih verileri eşit bütçeyle karşılaştırıldı↩1↩2↩3