Başarısız sayılan dokuz deneme

Bir araştırma eylemcisi yanlış sonuca varabilir. Onu değerlendiren sistem de doğru çalışmayı reddedebilir. FrontierPhysics ön baskısında dikkatimi çeken bulgu, ikinci ihtimalin sayılabilir hale gelmesi: uzmanlar GPT-6 Astra’nın 168 tek eylemcili denemesini incelediğinde, başarısız sayılan 9 denemeyi başarılı olarak yeniden sınıflandırdı. Başarı oranı %14.9’dan %20.2’ye çıktı. Model bu düzeltme sırasında yeni fizik öğrenmedi. Değişen, çalışmasına verilen hüküm oldu. Araştırma yeteneğini ölçerken ölçüm aracının kendisini de bir hata kaynağı saymak gerekiyor.[1]

Bu oranlar belirli bir denetimin sonucu. Aynı düzeltmeyi bütün modellere eklemek için gerekçe sunmuyorlar. Çalışma 42 fizikçinin hazırladığı 56 görevi kapsıyor; farklı model yapılandırmaları aynı otomatik hakemle değerlendiriliyor. Uzmanların ayrıntılı incelemesi ise seçilen modelin denemelerine yoğunlaşıyor. Buradaki asimetri önemli: geniş karşılaştırma tablosu ile derin insan denetiminin kapsamı aynı değil. Bir modelin puanındaki düzeltmeden tüm sıralamanın ne kadar değiştiğini çıkaramayız. Yazarların görevleri düzeltip etkilenen sonuçları yeniden ölçmesi, bu belirsizliği görünür kılan değerli bir adım.[1]

Geçerlilik kararı ile kalite puanı

Değerlendirmenin yapısı bu hatanın neden önemli olduğunu açıklıyor. Bir denemenin geçmesi için hem çalıştırılabilir doğrulayıcıyı hem bilimsel geçerlilik için zorunlu bütün koşulları karşılaması gerekiyor. Sunum veya kapsam gibi diğer ölçütler puanlanıyor. İyi yazılmış bir sonuç, zorunlu koşuldaki başarısızlığı telafi edemiyor. Bu ayrım bilimsel olarak anlamlı: ikna edici anlatım ile geçerli çözüm farklı özellikler. Ancak hakem zorunlu bir koşulu yanlış yorumladığında, hata küçük bir puan oynaması olarak kalmıyor; çalışmanın başarı sınıfını değiştirebiliyor.[1]

Benim buradan çıkardığım sonuç, zorunlu koşulları gevşetmek değil. Ret kararlarının gerekçelerini denetlenebilir kılmak. Alternatif açıklama da açık: bazı anlaşmazlıklar modelin yetersizliğinden değil, görev yönergesinin veya ölçütün belirsizliğinden kaynaklanabilir. Ön baskıda görev tasarımı sorunlarının bulunup düzeltilmesi bu ihtimali somutlaştırıyor. Aynı başarısızlık etiketi, yanlış hesap ile yanlış anlaşılmış görev arasında ayrım yapmadığında araştırmacıya eksik bilgi veriyor. Ayrı gerekçeler, model geliştiren kişinin fizik bilgisini mi, çalışma düzenini mi, yoksa değerlendirme tanımını mı incelemesi gerektiğini daha açık gösteriyor.[1]

İkinci hakem ve dış doğrulama

Başka bir modelin hakem yapılması yararlı bir karşılaştırma sağlıyor. Çalışmada Claude Opus 5.5 ile yeniden puanlama, GPT-6 Astra denemelerinin büyük bölümünde aynı geçme kararını veriyor; buna karşılık kendi model ailesinden gelen çalışmalara daha hoşgörülü davranıyor. Dolayısıyla iki otomatik hakemin uzlaşması, insan uzmanlığının yerini aldıklarını göstermiyor. Uyuşmanın hangi çözümlerde bozulduğunu bilmek daha öğretici. Özellikle model ailesine göre değişen hoşgörü, aynı değerlendirme aracının bütün yarışmacılara aynı biçimde davranıp davranmadığı sorusunu ortaya çıkarıyor.[1]

Görev yazarlarının 33 referans çalışmasının ölçütlerle yüksek uyum göstermesi de yararlı, fakat sınırlı bir kontrol. Aynı uzman çevresi hem görevin ne istediğini tanımlıyor hem örnek çözümü sağlıyor. Bu, ölçütün kendi bağlamında makul çalışabildiğine kanıt sunuyor. Dışarıdan bir ekibin farklı ama geçerli çözümünü tanıma başarısını doğrudan ölçmüyor. Bilimsel araştırmada tek doğru anlatım yolu bulunmadığı için bu boşluk önem taşıyor. Referansla uyum, beklenmedik bir çözümü adil değerlendirme yeteneğinin tamamını kapsamıyor.[1]

Puanın yanındaki hakem denetimi

Bu nedenle benim için daha güven veren sonuç tablosu, başarı oranıyla birlikte hakem kararlarının uzman incelemesinde nasıl değiştiğini de gösteren tablo. Başarılı ve başarısız kararların dış uzmanlarca incelendiği, anlaşmazlık gerekçelerinin ayrıldığı ve görev değişikliklerinin hangi sonuçları etkilediğinin açıklandığı bir değerlendirme daha fazla şey öğretiyor. Bu bir sonraki sonuç hakkında tahmin değil; güven düzeyimi yükselten somut kanıtın tanımı. Yalnızca daha yüksek puan görmek, ölçüm aracındaki belirsizliği azaltmıyor.[1]

FrontierPhysics’in değeri, araştırma eylemcilerinin sınırlarıyla hakemin sınırlarını birlikte görünür kılmasında. Ön baskı, tanımlanmış fizik görevleri üzerinde ciddi bir değerlendirme girişimi; bütün bilimsel keşif sürecinin doğrulaması değil. Uzman denetiminin puanı değiştirmesi çalışmayı değersizleştirmiyor. Aksine, tablonun hangi parçalarının düzeltilebilir olduğunu gösteriyor. Benim okuma ölçütüm bu: bir başarısızlık oranını açıklarken, kaç çözümün gerçekten yanlış olduğunu ve kaçının yanlış değerlendirildiğini birbirinden ayırmaya ne kadar yaklaşıyoruz?[1]