Dosyadan ölçüte
Bir mimari çizimi okuyup tutarlı bir rapor hazırlamakla bir soruya doğru yanıt vermek farklı sınamalar gerektiriyor. Google’ın 10 Kasım’da yayımladığı MKA bu ayrımı ölçülebilir kılmaya çalışıyor. On sektörden 200 görevde eylemciler çizim, tarama, harita ve tabloları birleştirerek teslim edilecek dosyalar üretiyor. Benim için araştırmanın ilginç yanı sıralama tablosundan önce geliyor: Çıktıdaki hangi özelliğin doğru sayılacağını uzmanların önceden yazması. Böylece güzel görünen bir sunumun içeriğiyle, içeriği doğru olup okunamayan bir tablonun biçimi ayrı incelenebiliyor. Ancak mesleki görevi örneklemek, gerçek işyerinin bütün kararlarını aynı deneyin içine almış olmak anlamına gelmiyor.[1]
Bütün modeller aynı Stirrup çalışma düzenini, araçları ve kaynak sınırlarını kullanıyor. Başlangıçta eylemci dosya yollarını alıyor; dosyaları kendisi açıp incelemek zorunda. Sonucu puanlayan GPT-6 Luna ise başka bir ortamda sayfaları görüntüleyebiliyor ve hesap tablosunun formüllerine bakabiliyor. Buradaki önemli asimetri şu: Puanlayıcı ilk girdi dosyalarını görmüyor. Beklenen değerleri, toleransları ve özellikleri içeren değerlendirme ölçütlerinden hareket ediyor. Bunun pratik yararı, her sonucu baştan çözmeden aynı ölçütleri uygulayabilmek. Kanıtın sınırı da aynı yerde: İnceleme, ölçütlerin doğruluğunu ve yeterliliğini devralıyor. Ölçüt dışında kalan bir kusurun saptanacağı bu tasarımdan kendiliğinden çıkmıyor.[1]
İnsan karşılaştırmasının örneği
Teknik rapor, bu asimetriyi bir insan karşılaştırmasıyla inceliyor. Dokuz alandan 50 görev seçiliyor; modelin kimliğini bilmeyen üç uzman girdileri ve teslim edilen dosyayı birlikte okuyup ölçütleri değerlendiriyor. Otomatik puanlayıcı aynı teslim üzerinde üç kez çalıştırılıyor. İnsanların kaynak dosyalarını görmesi önemli: Böylece sonuç yalnızca iki puanlayıcının aynı metni benzer biçimde okumasına dayanmıyor. Kaynağa erişen uzmanla, beklenen yanıtı ölçütten öğrenen sistem karşılaştırılıyor. Rapordaki güçlü uyum iddiasını bu tasarım bağlamında okumak gerekir. Bu, seçilmiş dosyalarda ölçüt temelli değerlendirmenin araştırılması; işin gerçek kullanıcı açısından bütün sonuçlarının izlenmesi değil.[1]
Seçimin ayrıntısı sonucun kapsamını daraltıyor. İnsan karşılaştırması yüksek ağırlıklı ölçütlere odaklanıyor; iyi puanlanan görevlerde yinelenen olumlu kontroller azaltılarak geçen ve kalan örnekler dengeleniyor. Bu tercih, önemli hataları incelemek için makul olabilir. Yine de bütün küçük biçimlendirme denetimlerinin veya günlük işlerdeki doğal hata dağılımının aynı örnekle temsil edildiğini söyleyemeyiz. Benim çıkarımım, puanlayıcıya güvenin ölçüt türüne göre ayrı kurulması gerektiği. Makul alternatif açıklama, seçilmiş ölçütlerin gerçekten daha açık ve daha kolay ortak karara bağlanır olmasıdır. O durumda gözlenen uyum, aynı ölçüde belirsiz mesleki kararlara taşınmayabilir.[1]
Tekrarın göstereceği fark
Ana model karşılaştırmasında her görev bir kez çalıştırılıyor ve sonuç bir otomatik puanlama geçişinden alınıyor. Rapordaki belirsizlik aralıkları görevlerin örneklenmesini kapsıyor; aynı eylemcinin aynı işi başka bir çalıştırmada nasıl yapacağını kapsamıyor. İnsan karşılaştırmasındaki üç puanlama tekrarını, ana deneyde her modelin üç kez çalıştırılmasıyla karıştırmamak gerekiyor. Görüntü aracını kaldıran deney de yalnızca Carbon üzerinde yürütülüyor. Bu deney, o modelin o çalışma ortamında görsel araca nasıl dayandığını inceliyor. Diğer modellerin de aynı yoldan başarıya ulaştığına ilişkin genel bir mekanizma kanıtı sağlamıyor.[1]
Bu yöntemi güçlendirecek somut karşılaştırma, aynı görevleri birden fazla çalıştırıp hem eylemci hem puanlayıcı değişkenliğini ayrı raporlamak olur. İnsan denetiminde düşük ağırlıklı ölçütlerin ve başarısız çıktıların dağılımı da açıkça gösterilebilir. Bunlar bir başarı tahmini değil, bugünkü puanın hangi ek kanıtla daha iyi yorumlanabileceğine ilişkin ölçütlerim. Kapalı 200 görev, sınamanın eğitim verisine karışmasını sınırlamayı amaçlıyor; açık on örnek ise yöntemi görmeye izin veriyor. Bu dengeyi korurken dış denetçinin sonuçları ne ölçüde yeniden üretebildiği ayrıca izlenmeli. MKA’nın bugünkü katkısını, dosya üretiminin hangi parçalarının sınandığını belirginleştirmesinde görüyorum.[1]