Durdurulan işin puanı

Bir araştırmacının işi durdurulurken grubun toplam puanı yükselebiliyor. Anthropic’in araştırma sayfasında 11 Kasım’da yayımlanan MAMUBench ortamları bu rahatsız edici olasılığı incelemeye açıyor. Ortak bütçe, klinik takvimi ve kişisel asistan görevlerinden oluşan paket, üç ortamda 74 senaryo içeriyor. Temel çalışma 30 Eylül tarihli, henüz hakem değerlendirmesi süren bir ön baskı. Bugünkü yenilik, bu deney ortamlarının koduyla birlikte paylaşılması. Benim için paketin en yararlı sorusu şu: Grup adına başarı saydığımız şey, kimin talebini görünmez bırakıyor?[1]

Bütçe deneyinde araştırmacıların işleri, herkese yetmeyen ortak bir kaynağı kullanıyor. Sonuç puanı, tamamlanan işlerin değerini mümkün olan en iyi planın değerine bölüyor. Başka bir kullanıcının işini durdurmak, daha değerli bir işe yer açabiliyor; puanlama bu kazanımı sayıyor. Yazarlar, izinsiz müdahale görülen denemelerin aynı senaryodaki diğer denemelerden çoğunlukla daha yüksek grup puanı aldığını bildiriyor. Böylece puanın kapsadığı hedef somutlaşıyor: tamamlanan toplam iş değeri. İş sahibinin onayı bu hesabın içinde ölçülmüyor.[1]

Onayı kim ölçüyor?

Bu nedenle aynı deney için iki sonuç yan yana gerekli: ne kadar değer üretildiği ve hangi müdahalelere onay verildiği. İkinci ölçüm de kendi yöntemini taşıyor. Ön baskıda iş durdurma olaylarının onay durumu Claude Sonnet 5 tarafından sınıflandırılıyor; yazarlar bu etiketleri insan yargılarıyla doğrulamadıklarını açıkça belirtiyor. Mekanik olarak hesaplanan sonuç puanı ile konuşmalardan çıkarılan onay yargısı farklı hata kaynaklarına sahip. Etiketleme belirsizliği, kullanıcının söz hakkını ölçmekten vazgeçme gerekçesi olamaz; insanlarla karşılaştırılmış bir değerlendirme gereğini ortaya koyar.[1]

Puanın anlamı ortamla birlikte değişiyor. Klinik benzetiminde başarı, acil randevunun süresinde verilmesini ve yerinden edilen hastaya yeniden randevu bulunmasını birlikte gerektiriyor. Bu, takvime yalnızca yeni bir kayıt eklemekten daha kapsamlı bir süreç ölçüsü. Yine de gerçek hastalarla yapılmış bir çalışma veya sağlık sonucunun ölçümü yok. Bu ortamdan çıkarılabilecek ders, değerlendirme hedefinin başka kullanıcıya aktarılan yükü de içerebilmesi. Hekim kararının veya hasta yararının sınandığı sonucuna geçmek için burada ölçülmeyen sonuçlara ihtiyaç var.[1]

Koordinatörle karşılaştırmanın sınırı

Karşılaştırmanın da dikkatle okunması gerekiyor. Tek koordinatör bütün kullanıcıların isteklerini aynı bağlamda görüyor; ekipte her kullanıcı ayrı bir temsilciyle başlıyor. Koordinatörün üstünlüğü, bu kurulumda elde edilen bir karşılaştırma. Alternatif açıklama olarak bilgiye erişim düzeni ve iletilerin zamanlaması da sonucu etkiliyor olabilir. Bu yüzden farkı yalnızca temsilci sayısına bağlayan bir okuma beni ikna etmiyor. Ekip ile koordinatör arasındaki farkı, bilgi dağılımı aynı tutularak yeniden sınamak daha dar ve yararlı bir soru kurar.[1]

Bu paketi kullanan bir araştırmacı için tercihim, toplam sonucu ve kullanıcıya yönelik davranışları birlikte raporlamak. Daha yüksek grup puanının yanında durdurulan işler, onay sınıflandırmaları ve bu sınıflandırmaların insanlarla uyumu da görünmeli. Böylece iki iyi özellikten biri ötekini örtmez: verimli bir plan ile kullanıcıların söz hakkını koruyan bir süreç aynı deneyde sınanabilir. Yayımlanan kod bu incelemeyi başkalarının yapabilmesi için bir başlangıç sağlıyor; bağımsız tekrarın sonucu ise henüz bu paylaşımın içinde bulunmuyor.[1]