Bilgi kime ulaştı?
Bir sahneyi bütünüyle gören değerlendirme sistemi, karakterin görmediği olayı da biliyor. PIP-ToM çalışmasının sorusu bu bilgi farkında başlıyor: kişinin neye inandığını hesaplarken hangi olayları kullanmaya hakkımız var? Araştırmacılar önce her karakter için görülen, duyulan ve yapılan olayları ayrı depolara alıyor. Benim için burada ölçülmesi gereken beceri, daha çok ayrıntıyı hatırlamanın ötesinde, ayrıntının kime ulaşmış olduğunu korumak. Aynı olay dökümüne erişen iki çözücünün farklı sonuç vermesi, yanlışın yalnızca eksik görüntüden kaynaklanmadığını araştırmaya imkân tanıyor. Ancak bu ayrımın başarısı yine ilk olay dökümünün doğruluğuna bağlı.[1]
Yöntem yalnızca bilgiyi kişilere dağıtmıyor. Soruyu ve olası yanıtları inanç, amaç veya iletişim niyeti gibi yapılandırılmış ifadelere çeviriyor. Sonra algısal, davranışsal, iletişimsel ve iç içe bakış açısı yolları üzerinden hangi kanıtın hangi yargıyı desteklediğini puanlıyor. Bir kişinin sözünü duymak, sözün içeriğini dünyada olmuş bir olay gibi kabul etmeyi gerektirmiyor. Bu ayrım çalışmanın önerdiği mekanizmayı açıklıyor: erişilebilir bilgi de yanlış amaçla kullanılabilir. Benim okuduğum yöntemsel katkı, bilgiye erişim ile o bilgiden çıkarılabilecek sonucu iki ayrı denetim noktasına dönüştürmesi. Böylece yanlış çıkarımın nerede başladığı daha açık bir araştırma sorusu oluyor.[1]
Bileşenleri ayrı sınamak
Araştırmacılar, GPT-4o kullanılan MuMA-ToM deneyinde tam yöntem için yüzde 92,56 ortalama doğruluk bildiriyor. Bakış açısı deposu çıkarılınca sonuç yüzde 89,45; iddiaya uygun kalibrasyon çıkarılınca yüzde 80,28 oluyor. Bu karşılaştırmada yeniden oluşturulmuş olay dökümleri aynı tutuluyor. Sonuçları, bu sınama içinde iki bileşenin katkısına ilişkin kanıt olarak okuyorum. İkinci çıkarma işleminde yapılandırılmış ifade ile kalibrasyon birlikte kaldırılıyor; aradaki bütün farkı bunlardan yalnızca birine yüklememek gerekiyor. Bileşen deneyi, hangi düzenlemenin katkı sunduğunu daraltıyor; düzenlemenin içindeki her parçanın etkisini tek tek belirlemiyor.[1]
Çalışma aynı zamanda yalnızca kanıt eşleyerek yanıt veren bir seçeneği sınadı. Açık inanç sorularında eşleme yararlı, fakat gizli amaçlar ve başka kişinin inancı hakkındaki çıkarımlarda olasılıksal model gerekli kalıyor. Bu sonuç beni basit bir erişim filtresinin her toplumsal soruyu çözeceği yorumundan uzaklaştırıyor. Daha olası açıklama, erişim sınırının bazı hataları temizlediği, kalan soruların ise davranışın birden fazla açıklamasını tartmayı gerektirdiği. Bunun alternatifi, gözlenen farkın belirli kümelerin seçenek yapısından kaynaklanması. İki açıklamayı ayırmak için benim arayacağım kanıt, aynı erişim ilişkileri korunurken soru biçimi ve aday seçenekler değiştirildiğinde yöntemin davranışı olurdu.[1]
Görüntüden karara uzanan zincir
Üç mevcut sınama kümesinin ve birden fazla modelin kullanılması, tek modeldeki rastlantısal bir düzeltme açıklamasını daraltıyor. Buna karşılık çözücüye önceden hazırlanmış olay dökümü verilmesi önemli bir sınır. Gerçek görüntüden kimin ne gördüğünü yanlış çıkarmış bir sistem, sonraki aşamada bu yanlışı düzenli biçimde koruyabilir. Bu benim yöntemden çıkardığım risk; çalışmada gerçek insanların zihnini okuma yeteneğinin ölçüldüğü söylenmiyor. Bir sonraki değerlendirmede algıdan çıkarıma kadar bütün zinciri ve hatalı erişim bilgisinin hangi kararlara taşındığını ayrıca görmek isterim. Başarı yüzdesinin yanında hata kaynağının yolunu izlemek, uygulamayı seçmek için daha açıklayıcı olur.[1]
Bu yüzden benim değerlendirme önerim, her yanlış yanıtı üç soruyla açmak: karaktere ait bilgi yanlış mı seçildi, seçilen bilgi yanlış yargıya mı bağlandı, yoksa uygun kanıtla yapılan çıkarım mı hatalıydı? PIP-ToM bu soruların ilk ikisini ayrı bileşenlerle ele alıyor; üçüncüsünde model tabanlı çıkarımı koruyor. Önerdiğim inceleme düzeni ayrıca sınanmalı. Çalışmanın bugünkü değeri, toplumsal akıl yürütmeyi tek bir doğru yanıt yüzdesiyle anlatmak yerine denetlenebilir ara kararlara ayırmasında. Bir araştırmacı için bu ayrım, sonraki deneyde hangi parçayı değiştireceğini ve hangi parçayı sabit tutacağını daha somut hale getiriyor.[1]