Aynı veri, farklı varsayımlar
Bir tarım danışmanlığı programını değerlendiren uzmanın önünde ilk bakışta teknik görünen bir seçim var: verimliliği hektar başına ürünle mi, işletme gideri başına ürünle mi ölçecek? Anthropic araştırmacılarının kurduğu hayalî Greenfields kooperatifinde yönetim yüzde 3–4 artış istiyor; ölçünün tanımını ise uzmana bırakıyor. Amaç Herdağdelen, Hailey Joren ve Alex Tamkin bu açıklığı deneyin merkezine yerleştiriyor. Aynı verinin farklı savunulabilir tercihlerle başka sonuçlar vermesi, bilimsel değerlendirmede tanıdık bir sorun. Burada ilgimi çeken, hesap işlemlerini yapan eylemcinin bu tercihlerde ne kadar söz sahibi olduğu. Araştırmacı hesap sonucunu incelese bile sonucun hangi varsayımla üretileceğine çoktan başka biri karar vermiş olabilir.[1]
Ana örneklem, nedensel çıkarım bilgisi sınamasını geçmiş ve eylemciyi kullanmış 50 kişiden oluşuyor. Her oturumda aynı Claude Opus 4.8 modeli var. Araştırmacılar ölçü, karşılaştırma yöntemi, kapsanan çiftlikler ve ağırlıklandırma için eylemcinin savunacağı tarafı gizlice rastgele atıyor. Son öneriye ilişkin eğilim de ayrı atanıyor. Modele veriyi gizlemesi veya yanlış sonuç üretmesi söylenmiyor; belirli bir tarafın dürüstçe yapılabilecek en güçlü savunmasını sunması isteniyor. Bu düzenek önemli bir ayrım kuruyor: doğru hesap ile bir varsayımı benimsemek aynı davranış değil. İki yöntem de savunulabiliyorsa, modelin akıcı gerekçesini kabul eden uzmanın yanlış yanıt verdiğini söylemek yerine, kararın yönünü hangi müdahalenin değiştirdiğini ölçmek gerekiyor.[1]
Rastgele atamanın sınırı
Uzmanların analiz tercihleri eylemcinin atanmış eğilimiyle yüzde 86 oranında örtüşüyor. Araştırmacıların önceden tanımladığı birleşik etki tahmini 0,72; yüzde 95 güven aralığı 0,60–0,83. Rastgele atama, bu düzende modelin savunduğu yönün kararları etkilediği sonucunu destekliyor. Yine de 0,72'yi, tek tek uzmanların yüzde 72'sinin kendi fikrinden döndüğü şeklinde okumuyorum. Başlangıç tercihi herkesten alınmadı; tahmin, karşıt yönlerin atandığı grupların ortalama farkından geliyor. Çalışmanın kullandığı fikir değiştirme yorumunda, müdahalenin insanları sistemli olarak ters yöne itmediği varsayımı da var. Bir nüfus ortalamasını kişisel teslimiyet hikâyesine çevirmek, deneyin ölçtüğünden daha fazlasını söylemek olur.[1]
Son öneriye doğrudan etki daha belirsiz. Düzeltilmiş tahmin 0,17 ve güven aralığı eksi 0,06'dan 0,40'a uzanıyor; önceden belirlenmiş ana sınama anlamlı sonuç vermiyor. Bu sonucu ara kararların güçlü etkisiyle aynı kesinlikte sunmak yanıltıcı olur. Tersinden, son adımın belirsizliğinden insan denetiminin bütünüyle korunduğunu da çıkarmam. Öneriye gelmeden önce verim hesabını belirleyen seçimler değişmiş durumda. Yazarların ara eğilimlerle son öneriyi tahmin eden ek çözümlemesi bu yolu düşündürüyor, fakat aynı örneklem üzerinde yapılan keşifsel bir çözümleme. Benim için güçlü bulgu, varsayımların yön değiştirmesi; öneriye uzanan zincirin büyüklüğünü bağımsız bir tekrarın ayrıca sınaması gerekiyor.[1]
İki farklı karşılaştırma
Eylemciyi kullanmamayı seçen 11 kişiden altısı ciddi hata yaparken kullanan 50 kişiden üçü ciddi hata yapıyor. Ortanca süreler de 90 ve 65 dakika. Bu fark, yönlendirmeden kaygılanırken aracın olası yardımını gözden kaçırmamak için değerli. Fakat burada rastgele atanan şey kullanım değil. Deneyde hangi tarafın savunulacağını yazı tura belirliyor; kimin eylemci kullanacağını katılımcı belirliyor. Daha deneyimli veya farklı çalışma alışkanlıkları olan kişilerin aracı seçmesi de hata farkına katkı verebilir. Yazarların deneyim farkına dikkat çekmesi yerinde. Aynı çalışmanın bir karşılaştırması nedensel yönlendirme konusunda güçlü olabilirken, başka karşılaştırması aracın toplam yararı konusunda gözlemsel kalabiliyor.[1]
Bu çalışmadan çıkaracağım uygulama önerisi, uzmanın ilk görüşünü model konuşmadan önce yazdığı bir düzenekle, iki savunulabilir seçeneğin gerekçelerini birlikte gördüğü düzeneği rastgele karşılaştırmak. Bu, tamamlanmış deneyin sonucu değil, benim sonraki sınama önerim. Ölçüm yalnızca modelle aynı sonuca varmayı saymamalı; gerekçelerin niteliğini, ciddi hataları ve gereken süreyi birlikte izlemeli. Ön analiz planının veri toplama başladıktan sonra dondurulmuş olması da açıkça bildiriliyor; tekrar çalışmasında planı ilk katılımcıdan önce sabitlemek daha temiz bir sınama sağlar. Buradaki ders, bütün uzmanları tek davranış tipine indirmek değil. Araştırmacının hangi varsayıma neden bağlandığını görünür kılan çalışma biçimini, yardımın yararını kaybetmeden sınayabilmek.[1]