Doğru ad ile doğru karar
Magnus Lynch’in küçük görüntü deneyinde beni durduran sayı, hangi modelin daha çok tanıyı bildiğinden ziyade aynı karşılaştırmanın iki ayrı soruya cevap vermesi. İnce ayarlanmış Inception v3, 200 lezyonun 125’inde ilk tanıyı doğru buluyor; GPT-6 Astra ile Claude Fable 5.1 için sayılar 84 ve 85. Bu, belirli bir görüntü seçkisindeki tanı sınıflandırması sonucu. Lynch ayrıca hastanın ek işlem olmadan eve gönderilip gönderilemeyeceğini soruyor. Bir lezyona doğru adı vermekle tehlikeli bir lezyonu işlem dışında bırakmamak, aynı başarı ölçütü değil. Birinci sıralamayı ikinci sorunun cevabı olarak kullanmak, ölçülen kararı değiştiriyor.[1]
Eve gönderme sorusunda ağın önceden seçilmiş eşiğiyle 30 melanomun 18’i gözden kaçıyor; dil modellerinde bu sayı 3 ve 4. Bu karşılaştırma, yalnızca doğru tanı toplamını okuyan kişinin kaçıracağı bir davranışı görünür kılıyor. Ancak buradan dil modellerinin klinikte daha güvenli olduğu sonucuna geçemeyiz. Ağ için seçilen çalışma noktası ile dil modellerinin verdiği kararların nasıl eşleştirildiği de sonuca katılıyor. Ben bu tabloyu model kimliklerinin kesin bir sıralaması olarak değil, değerlendirme hedefini açıkça yazmanın neden gerekli olduğunu gösteren bir örnek olarak okuyorum.[1]
Eşiğin taşıdığı tercih
Nitekim Lynch eşikleri eşleştirdiğinde ağın kaçırdığı melanom sayısı iki ya da bire iniyor. Aynı modelin farklı çalışma noktaları, tek bir doğruluk sayısına sığmayan sonuçlar veriyor. Daha çok tehlikeli lezyonu yakalamak ile iyi huylu örnekleri gereksiz incelemeye göndermemek birlikte değerlendirilmesi gereken hedefler. İlk eşikte ağ 100 güvenli örneğin 76’sını eve gönderirken, dil modellerinde sayılar 32 ve 22. Bu sayılar farklı kararların bedelini tarif ediyor. Eşleştirilmiş eşikte güvenli örneklerin kaçının eve gönderildiğini bu başlangıç sayılarından hesaplayamayız; karşılaştırmanın eksik hücresini varsayımla doldurmamak gerekir.[1]
Ağın ilk tabloda daha çok melanomu kaçırması, görüntüleri temsil etme kapasitesinden kaynaklanmış olabilir; karar eşiğinin seçimi de aynı örüntünün bir bölümünü açıklayabilir. Eşik değişince sonucun değişmesi, ikinci açıklamayı incelemek için somut gerekçe sağlıyor. Bu ayrım, mimari hakkında büyük bir hüküm vermeden de deneyden öğrenebileceğimiz bir şey. Ayrıca karşılaştırıcı ağın eski bir temel model olduğunu unutmamalıyız. Onun dil modellerini belirli bir ölçütte geçmesi, güncel uzman sistemlerle aynı düzeyde olduğunu kanıtlamıyor. Kullanılan karşılaştırıcıyı adlandırmak, eldeki sonucu küçültmez; hangi sorunun gerçekten yanıtlandığını sabitler.[1]
Sonraki karşılaştırmanın paydası
Örneklem 100 tehlikeli ve 100 güvenli lezyondan kurulmuş; iyi huylu örnekler de biyopsi yapılmış vakalardan seçilmiş. Bu denge, bir polikliniğin karşılaştığı hastalık sıklığı olarak okunamaz. Yalnızca 30 melanom var ve her dil modeli her vakada bir kez denenmiş. Dolayısıyla bu deneyden hastane düzeyinde bir zarar oranı veya tutarlı tekrar başarısı çıkarmıyorum. Açık veriyle önceden karşılaşma olasılığı da dil modelleri için çözümlenmiş değil. Bunlar sonuçları yok sayma gerekçesi değil; sonuçların hangi hasta grubuna ve kullanım biçimine taşınabileceğini sınırlayan özellikler.[1]
Benim istediğim izleyen sınama, karar hedefini ve eşiği test görüntülerini görmeden sabitleyen bir karşılaştırma. Ayrı bir hasta grubunda, aynı duyarlılık düzeyinde hem kaçırılan tehlikeli lezyonların hem gereksiz incelemeye yönlendirilen iyi huylu örneklerin sayısı birlikte verilirse seçim daha anlaşılır olur. Bu benim yöntem önerim; Lynch’in tamamladığı bir çalışma değil. Hasta açısından beklemek, ek inceleme ve gözden kaçan hastalık farklı bedeller doğuruyor. Bu nedenle raporun son satırında tek bir kazanan aramak yerine, hangi kararın hangi bedelle alındığını görmek istiyorum. Küçük deneyin değerli sorusu da burada kalıyor.[1]