Bir puan iyileşirken
Klinik bir sınıflandırıcı, kararından emin olmadığı hastayı insana devredebiliyor. Böylece otomatik karar verilen grubun hata oranı düşüyor. Peki o grubun bileşimi de değiştiyse neyi ölçmüş oluyoruz? İncelediğim önbaskı, nadir hastalık sonucuna ait hastaların belirsizlik puanı yüzünden otomasyondan orantısız çıkarılabildiğini gösteriyor. Burada azınlık sözcüğü demografik kimliği değil, daha seyrek görülen klinik sonuç sınıfını anlatıyor. Benim için çalışmanın güçlü sorusu, ortalama puanın iyileşmesine hangi hastaların otomatik karardan ayrılarak katkı yaptığı. İnsana devretmek bazen gerekli ve yararlı olabilir; bu seçimin dağılımını görmeden otomatik sistemin daha iyi karar verdiği sonucuna varmak güçleşiyor.[1]
Araştırmacılar ortak bir belirsizlik sırası yerine modelin tahmin ettiği iki sınıf içinde ayrı kuyruklar kuruyor. Her kuyruktan aynı pay insana ayrılıyor. Karar eşiğine yakınlık da sıralamada hesaba katılıyor. Böylece seyrek sınıfın yüksek mutlak belirsizlik puanı, onu diğer sınıfın bütün hastalarıyla yarışmaya zorlamıyor. Ancak kuyruklar gerçek tanıya göre kurulmuş değil. Modelin yüksek güvenle yanlış sınıfa koyduğu hasta o yanlış kuyruğa giriyor. Dolayısıyla bu düzenin düzelttiği şey, inceleme payının dağılımı. Başlangıçtaki sınıflandırma hatasının kendiliğinden giderilmesi çalışmanın gösterdiği sonuçlar arasında yer almıyor.[1]
Katkıyı hangi parçaya yazmalı?
Önbaskının en açıklayıcı karşılaştırması bence yeni puanın formülüyle ilgili. Yazarlar, sabit eşikte sınıf içinde yalnızca karar sınırına uzaklığı kullanan basit marjın, önerdikleri puanla aynı hasta sırasını verdiğini açıkça belirtiyor. Ayırma işlemi yalnızca bu sıraya baktığı için seçilen hastalar da aynı oluyor. Bu eşdeğerlik, bütün kazanımı yeni bir belirsizlik formülüne yazmayı engelliyor. Çalışmanın yöntemsel değeri benim okumamda, karar eşiğiyle uyumlu sıralamayı ayrı kuyruklarla birleştirmesinde yoğunlaşıyor. Daha karmaşık formülün yorumlanabilirliği ayrı bir özellik; bu deneyde farklı hastaları seçtiğinin kanıtı değil.[1]
Sınıf içinde rastgele seçim yapan karşılaştırıcı da bu hesabı açıyor. Kuyruk oranlarını korumak tek başına kazanımın önemli bölümünü sağlıyor; eşikle uyumlu sıralama bunun üzerine katkı ekliyor. Buradan çıkardığım sonuç, inceleme bütçesini dağıtma kuralının en az puan kadar açıklayıcı olduğu. Alternatif açıklama, gözlenen farkın bu veri kümelerindeki tahmin dağılımlarına ve seçilmiş karar eşiğine güçlü biçimde bağlı olması. Aynı inceleme bütçesinde basit marjı, rastgele sınıf içi seçimi ve yeni puanı birlikte tutan karşılaştırma bu iki açıklamayı tartmak için gerekli. Yeni bir puanın adı tek başına hangi parçanın işe yaradığını söylemiyor.[1]
Hastaneye taşınacak ölçüm
Çalışma, sentetik koşulların yanında multipl skleroz, Parkinson ve Alzheimer’a ilişkin geriye dönük hasta verilerini inceliyor. Bu çeşitlilik, tek bir hastalıktaki rastlantısal sonuca karşı yararlı. Buna karşılık tahminleri birleştiren model topluluğu, bilinen karar eşiği ve ikili sonuç yapısı deneyin sınırları. Gerçek klinikte hastanın bekleme süresi veya bakım sonucu burada ölçülmüyor. Olası bir başka açıklama da farklı hastalıklar arasındaki değişimin yalnızca sınıf oranından değil, kullanılan özellik ve sonuç tanımlarından etkilenmesi. Kontrollü sentetik deneyler bu itirazı daraltıyor; gerçek hastane sürecindeki bütün etkenleri ortadan kaldırmıyor.[1]
Benim bu yöntemden çıkardığım değerlendirme önerisi somut: toplam hatayla birlikte her gerçek sonuç sınıfında otomasyonda kalan payı ve hatayı gösterin; ayrıca insana ayrılan yükü aynı bütçede tutun. Çalışmanın sınıfa göre ayrılmış risk eğrileri, ortalamanın örttüğü yer değiştirmeyi görünür kılıyor. Klinik yarar iddiası için ise başka merkezde, önceden belirlenmiş eşikle ve fiilî inceleme kapasitesiyle yürütülen ileriye dönük bir karşılaştırma ararım. Böyle bir tasarımda bekleme ve bakım sonuçları da ölçülmeli. Bugün eldeki katkı, hastanın tedavisini seçen bir öneriden çok, otomatik kararın hangi hasta grubunu geride bıraktığını araştırmaya yarayan uygulanabilir bir hesap düzeni.[1]