Öğrencinin hangi işi yapması gerekiyor?

Bir cümlede iki kişi var; biri diğerine bir nesne veriyor. Dil modelinden, cümlenin sonunda nesneyi alacak kişinin adını tamamlaması isteniyor. GPT-2’den damıtılan altı katmanlı DistilGPT-2, yeni bir ön baskının bu sınamasında yanlış kişiye yöneliyor. Aynı öğrenci model, bir tarih aralığının sonunu başlangıcından sonraya yerleştiren başka görevde öğretmeninin ölçülen başarısının büyük bölümünü koruyor. Bu iki sonuç beni tek bir başarı notundan daha fazla ilgilendiriyor. Küçülmenin hangi işlem zincirini bozduğu ve hangisini başka yere taşıdığı, aynı modele sorulan soruya göre değişiyor. Modeli kullanacak araştırmacı için asıl mesele de kendi işinin bu iki davranıştan hangisine daha çok benzediği.[1]

Çalışmanın öğretmeni 12, öğrencisi altı katmanlı; gömme boyutları eşit. Araştırmacılar, temiz istemlerle bozulmuş istemler arasında iç etkinlikleri değiştirerek belirli bileşenlerin yanıta katkısını sınamış. Bu müdahale, yalnızca iki modelin benzer metinler üretip üretmediğine bakmaktan daha açıklayıcı. Yine de deneyin nesnesini dar tutmak gerekiyor: Bugünün bütün küçük modellerini temsil eden rastgele bir örneklem yok. Önümüzde belirli eğitim geçmişi olan tek bir öğretmen-öğrenci çifti ve daha önce ayrıntılı çalışılmış iki davranış bulunuyor. Katman sayısı, başlangıç ağırlıkları ve damıtma eğitimi bu çiftte birlikte değiştiği için, gördüğüm farkın tamamını yalnızca derinliğe yazmayı tercih etmiyorum.[1]

İki sayının farklı paydaları

İsim seçme görevinde doğru ve yanlış adın logitleri arasındaki ortalama fark eksi 0,467. Bu ölçüde sıfırın altına düşmek önemli: Sınanan istemlerde yanlış ada daha yüksek puan veriliyor. Buna karşılık tarih görevinde bildirilen yüzde 87,7, öğretmenin daha büyük yıl sonlarına ayırdığı olasılık kütlesinin korunan oranı. Bunu soruların yüzde 87,7’sini doğru cevaplama oranı olarak okumam. İki görevin ölçüsü farklı; biri adlar arasındaki puan farkını, diğeri bir yanıt kümesine ayrılan olasılığı kullanıyor. Araştırmacı, bu sayıları yan yana koymadan önce her birinin paydasını ve hangi davranışı temsil ettiğini sormalı.[1]

İç temsillerin karşılaştırılması da eşleme kararına bağlı. Altıncı öğrenci katmanını öğretmenin altıncı katmanıyla karşılaştırmakla, iki ağın son katmanlarını karşılaştırmak aynı soru değil. Göreli derinliğe göre eşleme daha yüksek benzerlik verebiliyor. Ben bu farkı, modelin içindeki bir işlemin nerede gerçekleştiğine ilişkin bir uyarı olarak okuyorum: Daha kısa ağ, bazı işleri farklı bir sıraya sıkıştırabilir. Ancak benzer etkinlik örüntüsü işlevin korunduğunu tek başına göstermiyor. Çalışmanın müdahalelerle yaptığı davranış incelemesi bu yüzden değerli. Temsil benzerliğiyle nedensel katkıyı aynı kanıt türü saymak, araştırmanın açtığı ayrımı yeniden kapatır.[1]

Öğretmenin gözlüğüyle ölçmek

Bir başka sınır, özellikleri okumak için kullanılan araçta. GPT-2 üzerinde eğitilmiş seyrek otoenkoder, öğrencinin etkinliklerine de uygulanıyor. Böylece öğretmenden alınmış bir koordinat sistemiyle öğrenciyi ölçüyoruz. Öğrencide düşük görünen bir özellik, gerçekten kaybolmuş olabileceği gibi bu koordinat sistemine iyi oturmuyor da olabilir. Yazarların farklı ölçümler kullanması bu sorunu hafifletiyor; yine de her düşük benzerliği beceri kaybı ilan etmek için yeterli bulmuyorum. İsim seçme görevindeki yanlış yönelim daha doğrudan bir davranış sonucu. Özellik karşılaştırmasının belirsizliği, bu davranış bulgusunu silmeden, mekanizmaya ilişkin yorumun genişliğini sınırlamalı.[1]

Bu ön baskıdan çıkaracağım kullanım kararı, küçük modele genel bir yeterlilik etiketi vermek yerine kritik işlemi tarif etmek. Bir araştırma iş akışı kişi eşleştirmeye dayanıyorsa, akıcı çıktı ve başka bir görevde korunan başarı bu eşleştirmeyi sınamanın yerini tutmuyor. Tarih karşılaştırması ağırlıklı bir işte ise buradaki olumlu bulgu, aynı giriş kalıpları ve başarısızlık türleriyle yeniden denemeye değer. Daha geniş sonuç için farklı eğitim geçmişlerine sahip öğrenci modellerin ve farklı davranışların karşılaştırılmasını isterim. Şimdilik değerli olan, tek bir öğrencinin iki farklı sonuca varması: Sıkıştırmanın bedeli, korunması istenen işlemin adı konduğunda ölçülebiliyor.[1]