Doğru yanıtlar kimde birleşiyor?
Bir modelin doğru bakım yanıtlarını aynı hastada bir araya getirip getiremediğini bilmek istiyorum. NPCBench’in 5 Kasım tarihli arXiv makalesindeki CarePath sınaması, geniz kanseri için bu soruya somut bir ölçü veriyor. Yüz hastaya ait 217 bakım kararını ayrı ayrı puanlıyor; ardından her hastada patoloji yanıtının, manyetik rezonans görüntülerinden belirlenen T evresinin ve seçilen bütün bakım yanıtlarının birlikte doğru olmasını arıyor. T evresi, tümörün yerel yayılımını sınıflandırıyor. Böylece araştırmacılar, doğru yanıtların sayısından bu yanıtların kimde birleştiğine geçiyor. Benim için çalışmanın asıl katkısı, başarıyı hastanın çevresinde yeniden tanımlayan bu hesap.[1]
Ölçüt değişince modellerin sırası da değişiyor. Makalede Gemini-3.1 bakım kararlarında yüzde 89,9 doğruluğa ulaşırken katı hasta başarısında yüzde 11’de kalıyor. Claude-4.6 için bu oranlar yüzde 80,6 ve yüzde 23. Aynı soru kümesinde daha çok doğru bakım yanıtı veren model, tanı ve bakım yanıtlarını daha çok hastada eksiksiz birleştiren model olmuyor. Bu farkı klinik üstünlük sıralaması olarak okumam. Araştırma, hangi yeteneğin ölçüldüğüne göre karşılaştırmanın nasıl değiştiğini gösteriyor. Seçilen sorulara yanıt vermek ile hastanın seçilmiş bütün adımlarını doğru tamamlamak farklı araştırma hedefleri.[1]
Hatanın yeri ve sınamanın ağırlığı
Bu farkın mekanizmasını görmek için aynı kişilerin yanıtlarını eşleştirmek gerekiyor. Gemini-3.1, 100 hastanın 72’sinde bütün bakım sorularını doğru yanıtlarken patoloji veya T evresinden en az birini yanlış belirliyor. Bu kesişim, bakım yanıtlarının doğruluğu ile görüntü etiketlerinin doğruluğunun aynı hastada ayrışabildiğini gösteriyor. Buradan modelin görüntüyü bütünüyle göz ardı ettiği sonucuna atlamam: verilen klinik bağlam, görüntü etiketindeki yanlışa rağmen doğru bakım seçeneğini bulmaya yardım etmiş olabilir. Ortak başarı ölçütü bu uyumsuzluğu görünür kılıyor; uyumsuzluğun nedenini açıklamak ayrıca kontrollü bir karşılaştırma gerektiriyor.[1]
Katı ölçütün düşüklüğüne başka bir açıklama da sınamanın kuruluşundan geliyor. Her seçilmiş adımı doğru yanıtlama koşulu, daha uzun yollarda daha fazla hata olanağı yaratıyor. CarePath’te hasta başına bir ile altı bakım kararı puanlanıyor. Ayrıca araştırmacılar, dört modelin yanıtlarını kullanarak zor kararları öne çıkarıyor; bu modellerin tümünün doğru yanıtladığı karar noktalarını puanlamadan çıkarıyor. Dolayısıyla ortak başarıdaki düşüş, becerileri birleştirme güçlüğünün yanında bölüm uzunluğunu ve soru seçimini de yansıtabilir. Benim tercih ettiğim karşılaştırma, aynı hastaları ve aynı karar sayısını koruyup hata kesişimlerini göstermek. Böylece daha sert bir sınamanın etkisi ile değişen yanıt örüntüsünü tartmak kolaylaşır.[1]
Hastayla eşleşen kanıt
Hastayla eşleştirilen kanıtın kapsamı da sonucu belirliyor. Yüz bakım yolunun 25’inde patoloji örneği hastayla eşleşiyor; kalan 75’inde atanmış örnekler kullanılıyor. Manyetik rezonans ve klinik bilgiler bütün grupta hastayla bağlantılı. Bu düzen yararlı bir araştırma sınaması kuruyor, fakat patoloji ile bakım arasındaki bağı her olguda aynı biçimde sınamıyor. Çoğunlukla tek merkezden gelen verinin üzerine bu ayrımı da koyunca, yüzde 23’ü hastaların klinik başarı oranı diye okumak yanlış olur. Ölçülen şey, belirli kanıtlar ve seçilmiş sorular karşısındaki yanıtların ortak doğruluğu; hastaların sağlığında gözlenen bir iyileşme değil.[1]
Bu yüzden NPCBench’i geliştirmenin yolu, ortak başarı puanını korurken onun hangi koşullarda değiştiğini açıklamak. Ben yeni bir merkezde, tüm görüntüleri hastayla eşleşen bir grupta, karar sayısına göre ayrılmış sonuçları görmek isterim. Patoloji, evre ve bakım hatalarının aynı kişide nasıl buluştuğunu gösteren döküm de korunmalı. Araştırmacının böylece yanıtlayabileceği soru açık: kazanım görüntü yorumlamadan mı, bakım sorularından mı, yoksa hataların hastalar arasındaki dağılımından mı geliyor? Hasta yararı için ayrıca ileriye dönük klinik sonuçlar gerekir. Ortak doğruluğun değeri, bu sonraki iddiaya geçmeden önce yanıtlanması gereken soruyu daha kesin kurmasında.[1]