Ortalama hata düşerken kim dışarıda kalıyor?

Bir klinik tahmin sistemi, kararsız kaldığı hastaları insan incelemesine gönderince otomatik karar verdiği havuzda daha az hata yapabilir. Peki bu havuzda kim kaldı? 27 Ekim’de arXiv’e sunulan, henüz hakem değerlendirmesinden geçmemiş çalışma tam bu sorunu ele alıyor. Araştırmacılar sentetik verilerle birlikte multipl skleroz, Parkinson ve Alzheimer ilerleyişine ilişkin geriye dönük hasta verilerini inceliyor. Bulgularını okurken benim başlangıç noktam şu: nadir görülen hastalık sonucuna ait vakaları otomatik karardan uzaklaştırmak, bütün hastalar üzerinden hesaplanan hata ölçüsünü iyileştirebilir. Böyle bir iyileşmenin anlamı, geride kalan grubun bileşimine bağlı.[1]

Çalışmada belirsizlik puanı, hangi tahminin insana gönderileceğini belirleyen sıralama aracı. Ortak bir sıralama, az örneği bulunan sonuç sınıfını orantısız biçimde incelemeye ayırabiliyor. Bu durumda otomatik sistemin ortalama hatası düşerken küçük sınıfın hata yükü gözden kaçabiliyor. Yazarların sonuç sınıflarını ayrı değerlendirme önerisini bu yüzden önemli buluyorum: aynı genel başarı ölçüsü, otomatik kararda kalan hastaların farklı dağılımlarını örtebilir. Buradaki küçük sınıf, hastalığın ilerlemesi gibi seyrek görülen bir sonuçla tanımlanıyor. Bu deneylerden demografik azınlıklara ilişkin bir sonuç çıkarmak uygun olmaz.[1]

Kuyruk düzeninin katkısı

Önerilen sınıfa koşullu ayırma yöntemi, modelin hastalığı ilerleyecek ve durumu değişmeyecek diye sınıflandırdığı vakalar için ayrı inceleme kuyrukları kuruyor. Her kuyrukta belirsizliğe göre sıralama yapıp aynı payı insana gönderiyor. Böylece korunan oran, modelin öngördüğü sınıfların oranı oluyor. Araştırmacılar ayrıca belirsizlik puanını karar eşiğine uyarlıyor; sıra, tahminin bu eşiğe yakınlığını yansıtıyor. Bu ayrıntı önemli, çünkü kuyrukların büyüklüğünü dengelemek ile her kuyruğun içinde incelenecek vakaları seçmek farklı işlemler. Birincisinin başarısı, ikincisinin doğru sıralama yaptığını kanıtlamıyor.[1]

Çalışmanın rastgele seçim karşılaştırması bu ayrımı sınamaya yarıyor. Sınıf içindeki sıralamayı rastgele kurarken incelemeye ayrılan payları korumak, yalnızca kuyruk oranını korumanın katkısını görünür kılıyor. Dolayısıyla önerilen düzenekteki kazanımı bütünüyle yeni belirsizlik formülüne bağlamam. Daha basit bir açıklama, kazanımın bir bölümünün inceleme kapasitesinin sınıflar arasında yeniden dağıtılmasından gelmesi. Üstelik yazarlar, sabit karar eşiğinde her sınıf içinde eşikten uzaklığa göre sıralamanın kendi puanlarıyla aynı hasta sırasını verdiğini belirtiyor. Benim için burada değerli olan, yeni formülün adı kadar, hangi karşılaştırmanın hangi katkıyı ayırabildiği.[1]

Güvenle yapılan yanlışın yeri

Kuyruğa girişte gerçek hastalık sonucu bilinmiyor; kullanılan etiket modelin tahmini. Hastalığı gerçekten ilerleyen bir kişi yüksek güvenle durağan sınıfa yerleştirilmişse, durağan tahminler kuyruğuna giriyor. Kuyruk oranlarının korunması bu yanlış sınıflandırmayı kendiliğinden bulmuyor. Bu nedenle iki ayrı soruyu sormak gerekiyor: otomatik karar havuzunda seyrek sonuca ait hastalar kalıyor mu ve modelin güvenle yaptığı yanlışlar incelemeye ulaşıyor mu? Öneri ilk sorundaki seçici kaybı hedefliyor. İkinci soru için gerçek sonuç etiketleriyle yapılan değerlendirme gerekli kalıyor. Tahmin sınıfındaki dengeyi, hastalık sonucuna göre dengeli hata dağılımıyla eş tutmamak gerekir.[1]

Bu önbaskıdan çıkaracağım somut değerlendirme talebi, aynı inceleme kapasitesi altında hem sınıf oranlarını hem sınıfa özgü hataları göstermek. Rastgele sınıf içi seçim ve basit eşik uzaklığı sıralaması da karşılaştırmada kalmalı; böylece kuyruk düzeninin katkısı ile vaka sıralamasının katkısı birbirine karışmaz. Çalışmanın ikili karar ve bilinen eşik varsayımları, bu talebin uygulama sınırını da belirliyor. Geriye dönük tahminlerde hatanın nasıl dağıldığını görmek, insan incelemesinden sonra hastaya ne olduğunu ölçmüyor. Hasta yararı iddiası için ayrıca bu incelemenin kararları nasıl değiştirdiğini ve sonuçlarını izleyen ileriye dönük bir değerlendirme gerekir.[1]