DistilGPT-2, isim seçmede başarısız olurken tarih karşılaştırmasının çoğunu korudu
GPT-2 ile ondan küçültülen DistilGPT-2’yi karşılaştıran tek bir ön baskıda iki görev farklı sonuç verdi. Küçük model, bir nesnenin kime verildiğini seçerken yanlış isme yöneldi; yıl karşılaştırmasındaki ölçümün büyük bölümünü ise korudu. Araştırmacılar yanıtların yanında modelin iç bileşenlerini de inceledi. Bulgular yalnızca bu model çiftini ve sınanan iki davranışı kapsıyor.
Yapay Zekâ··Sabah
Küçük model, nesneyi alan kişiyi yanlış seçiyor
Tek bir ön baskı, GPT-2 ile onun çıktılarından öğrenerek küçültülen DistilGPT-2 dil modelini karşılaştırıyor. Bilgi damıtma denen bu yöntemle oluşturulan öğrenci altı, öğretmen GPT-2 ise 12 katmanlı. 27 Ekim’de sunulan çalışma iki kontrollü davranışı ve iç bileşenleri inceliyor. İki kişinin anıldığı, bir nesnenin verildiği cümlelerde DistilGPT-2 yanlış isme yöneliyor. Yazarlar, modelin iç etkinliklerine müdahale ederek başarısızlıkla ilişkili bileşenleri araştırıyor.[1]
Yıl karşılaştırması ölçüsünün büyük bölümü korunuyor
Diğer görevde modelden bir yıl aralığını başlangıcından sonraki bir yılla tamamlaması isteniyor. DistilGPT-2’nin daha büyük yıl sonlarına ayırdığı olasılık ölçüsü, GPT-2 değerinin yüzde 87,7’sini koruyor. Öğretmenin geç katman bileşenlerinin öğrencide doğrudan yapısal karşılığı bulunmuyor. Yazarlar daha erken bileşenlere doğru kayma saptıyor, ancak nedensel zincirin tümünün doğrulanmasını tamamlanmamış bir iş olarak tanımlıyor.[1]
Araştırmacılar, temsilleri, dikkat örüntülerini ve genel dil modelleme ölçümlerini de inceledi. Ağların göreli derinliğine göre eşleme, aynı katman numaralarını eşlemekten farklı benzerlik sonuçları veriyor. GPT-2’de eğitilmiş sabit özellik tabanı, öğrencinin farklı biçimde temsil ettiği özellikleri gözden kaçırabiliyor. Sınanan iki davranış için tek öğretmen ve öğrenci çifti kullanıldı; başka model aileleri ve sıkıştırma yöntemleri deneyin dışında kaldı.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
