Denetimin iki başarı eşiği

Bir hekimin yapay zekânın hatalarından bir bölümünü düzeltmesi, birlikte verdikleri kararın yardımsız hekim kararından daha iyi olduğunu göstermiyor. Nadine Schlicker ve arkadaşlarının kalp sesleriyle yaptığı deneyin en yararlı ayrımı burada. Denetimin başarısını yalnızca makineden daha iyi olmakla tanımlarsak, bozulan bir sistemin açtığı kaybın bir kısmını geri almayı yeterli sayabiliriz. Hekimin kendi başlangıç düzeyini korumasını da koşul yaptığımızda sonuç değişiyor. Klinik yapay zekâ denetimi için anlamlı karşılaştırmanın bu ikinci eşiği de içermesi gerektiğini düşünüyorum.[1]

Önceden kayıt edilmiş deney, 48 katılımcıyı iki gruba rastgele ayırdı. Katılımcılar 40 kalp sesi kaydını sınıflandırdı. Bir grup yapay zekâ önerisini önce gördü; diğer grup önce kendi sınıflandırmasını yaptı, sonra öneriye göre kararını değiştirebildi. Araştırmacılar önerilerin doğruluğunu dört blok boyunca düşürdü. Katılımcılar düşük güvenilirlikte bazı hataları telafi etti, fakat ortak başarım, bağımsız kararın önce alındığı gruptaki yardımsız başarımın altında kaldı. Önce düşünmeye zorlamak bu düzende koruyucu etki sağlamadı.[1]

Bu sonuçta benim için önemli olan, insanın karar zincirinde bulunmasıyla etkili denetimin ayrı ayrı ölçülmesi. Bağımsız ilk karar, hekim öneriyi gördükten sonra kendi doğru değerlendirmesinden vazgeçiyorsa sonuca koruma sağlayamıyor. Çalışma, ilk kararın ve nihai kararın birlikte saklanması sayesinde bu geçişi görünür kılıyor. Klinik iş akışı tasarlayanlar için değerlendirilecek çıktı, bir onay düğmesine basılması kadar dar tutulamaz; hatalı önerinin hangi doğru kararı değiştirdiği de hesaba katılmalı.[1]

Önce karar vermenin sınırı

Araştırmacılar, katılımcıların kendi sınıflandırmalarına güveninin sisteme duydukları güvenden daha erken azaldığını gözlemledi. Bu, önerinin otoritesinin neden önemli olabileceğine dair bir ipucu. Ancak mekanizma henüz ayrıştırılmış değil. Başlangıçta verilen yüksek doğruluk bilgisi güveni etkilemiş olabilir; güvenilirliğin sürekli aynı sırada düşmesi de zaman ve sıra etkilerini açıklamanın dışında bırakmıyor. Bu yüzden sonucu yalnızca otomasyon yanlılığına bağlamayı erken buluyorum.[1]

Son blokta önerilerin doğruluğu sıfıra indirildi ve sesle görsel gösterim birbiriyle uyuşmaz hale getirildi. İki değişikliğin aynı anda yapılması, son bloktaki farkın kaynağını ayırmayı zorlaştırıyor. Dahası örneklem son sınıf tıp öğrencilerini de içeriyor; görevde hasta görüşmesi, ek klinik bilgi ve gerçek tedavi kararı bulunmuyor. Bulgular bu sınıflandırma deneyinde denetimin kırılganlığını gösteriyor. Gerçek hastalarda zarar sıklığını veya bütün klinik alanlarda bağımsız ilk kararın etkisini hesaplamıyor.[1]

Bir sonraki sınamada, güvenilirliğin izlediği sıra ile ses-görsel uyumsuzluğunu ayrı koşullarda değiştirmek isterdim. Yardımsız değerlendirmeyi koruyan bir karşılaştırma, öneriden sonra hangi doğru kararların kaybedildiğini izlemeyi de mümkün kılar. Ek klinik bilgi ve gerçekçi iş yükü altında aynı iki başarı eşiği yeniden ölçülmeli. Böyle bir tasarım, ilk kararı zorunlu tutmanın hangi koşullarda işe yaradığını somutlaştırır. Hastanenin denetim sorumluluğunu da yalnızca son ekranda adı görünen kişiye yüklemek yerine, ölçülebilir görevler etrafında kurmasına yardımcı olabilir.[1]