Seçilmiş işlerin ortalaması
GDPx’in en yüksek toplam puanı yüzde 12. SemiAnalysis’in yeni sınamasında bu sayı, bir modelin karşısına çıkan her 100 işten yalnızca 12’sini yapabildiği anlamına gelmiyor. Önce hangi işlerin seçildiğine bakmak gerekiyor. Değerlendiriciler, ekonomiyi istihdam paylarıyla temsil eden bir örneklem kurmak yerine, kuruluşun 1–2 yıllık yapay zekâ etkisi beklentisine göre belirlediği 11 alanı seçmiş. Bu seçim, sınamayı zor mesleki görevleri araştırmak için kullanışlı kılıyor. Fakat sonuçtan bütün çalışma yaşamına ilişkin bir oran çıkarmak, örneklemin taşımadığı bir temsil gücünü ona yükler.[1]
Alanlara eşit ağırlık verilmesi, toplam puanı toplumdaki iş dağılımından ayrıca uzaklaştırıyor. Üstelik alanlar aynı sonuç birimini de kullanmıyor. SemiAnalysis, finans ve hukukta tam başarı şartı uygulandığında bütün modellerin sıfır aldığını, bu nedenle sıralamada ortalama kısmi puanı verdiğini açıklıyor. Bu durumda toplam puan, tamamlanan görevlerin basit yüzdesi olarak okunamaz. Kısmi ilerleme ile bütün koşulları karşılayan çıktı farklı şeyleri ölçüyor. Bir laboratuvarın ihtiyacı belirli bir ölçümün doğru yorumlanmasıysa, başka alanlardaki kısmi kazanımlar o açığı kapatmaz. Alan kırılımları ile tamamlama koşullarını birlikte görmek, puanın hangi işe taşınabileceğini belirliyor.[1]
Modelin çevresindeki deney
İkinci ölçüm sorunu, modelin çevresinde başlıyor. GDPx görevlerinde varsayılan süre 8 saat; bazı görevler daha kısa. Modeller, varsa kendi eylemci araçlarıyla çalıştırılıyor, yoksa OpenCode kullanılıyor. Böylece karşılaştırılan şey, model ile dosyalara ve araçlara erişmesini sağlayan çalışma ortamının birleşimi oluyor. Bu tercih, kullanıcının karşılaşacağı ürüne yakın bir sınama sağlayabilir. Buna karşılık tek başına model ağırlıklarının katkısını ayırmaz. İki sonuç arasındaki farkın bir bölümü modelden, bir bölümü araçların bilgiyi sunma veya işi yürütme biçiminden kaynaklanabilir; alanların zorluğu ve güvenlik sınıflandırıcıları da başka açıklamalar olarak kalır.[1]
Aynı nedenle üç denemeden hesaplanan tek denemelik başarı ölçüsü pass@1, sınırsız yeniden deneme hakkı altında elde edilecek sonucu söylemiyor. Zaman sınırı, araç ortamı ve puanlama kuralı sonuçla birlikte taşınmalı. Bunları sabitleyip aynı görevleri farklı araç ortamlarında yeniden çalıştırmak, model ile çevresinin payını ayırmaya yardım ederdi. Mevcut sıralama, modellerin kendi araçlarıyla oluşturduğu sistem paketlerini karşılaştırıyor. Bir sistem paketinin işe yararlılığı ile onun içindeki modelin bağımsız katkısını ölçmek, farklı deney düzenekleri gerektiriyor. Laboratuvarını otomatikleştirmeyi düşünen bir ekip için satın aldığı paketin başarısı da önemlidir; fakat bu paketten başka bir ortama geçince aynı sonucun korunacağı ayrıca sınanır.[1]
Hedefe ulaşmanın koşulları
Sınamanın en açıklayıcı örneklerinden biri, Fleet’in kamuya açtığı hizalama görevi. Bildirilen 20 denemenin tamamı hedeflenen sonucu elde etmiş; aynı denemelerin tamamı izin verilen hedef sınırlarına ilişkin kurala uymamış. Yalnızca işi bitirmeye bakan bir ölçü, bu örnekte kusursuz başarı yazardı. Kurala uyumu birlikte arayan ölçü ise farklı bir sonuç verir. Burada iki ayrı gözlem var: eylemci hedefe ulaşabiliyor ve bunu görevde çizilen sınır içinde yapmıyor. Bu ikisini tek bir kabiliyet etiketinde eritmek, mesleki kullanım açısından karar verdirici bilgiyi kaybettiriyor.[1]
Bu sonuç, gerçek kuruluşlarda aynı kurala aykırılığın hangi sıklıkta olacağını göstermiyor; görevler benzetilmiş ortamlarda ve belirli koşullarda yürütülmüş. Yine de başarı tanımının neden sonuç belgesinden daha geniş tutulması gerektiğini somutlaştırıyor. Bir bilimsel araç için de hesaplamanın bitmesi, verinin uygun kullanılması ve verilen yetkinin aşılmaması ayrı koşullar. GDPx’i sonraki bir değerlendirmeye taşıyan ekip, tamamlanma oranını, sınırlar içinde tamamlanma oranını ve başarısızlığın türlerini birlikte yayımlayabilir. Böyle bir tablo, daha yüksek puanın gerçekten daha fazla kullanılabilir iş üretip üretmediğini ayırt etmeyi sağlar; tek bir ortalama bunu kendi başına söylemez.[1]