İki ayrı karşılaştırma
Yapay zekânın bazı yanlışlarını düzeltmek, denetimin insanı yardımsız çalıştığı düzeyde tutabildiğini gösterir mi? Nadine Schlicker ve çalışma arkadaşlarının kalp sesi sınıflandırma deneyi, bu iki başarı ölçütünün ayrılmasını gerektiriyor. Benim için çalışmanın en öğretici sonucu, katılımcıların kimi hatalı önerileri düzelttiği halde düşük güvenilirlik koşullarında ortak başarımın yardımsız insan başarımının altında kalması. Denetimi yalnızca sisteme eklenen doğru yanıtlarla ölçersek, insanın sistemle birlikte kaybettiği doğru kararları gözden kaçırabiliriz. Klinik bir araçta denetim iddiasını incelerken iki karşılaştırmayı da görmek isterim: İnsan modele ne kattı ve model insanın kararını nasıl değiştirdi?[1]
Önceden kayıt edilmiş deneyde 48 katılımcı, 24’er kişilik iki gruba rastgele ayrıldı. Örneklem son sınıf tıp öğrencileriyle asistan ve deneyimli hekimleri içeriyordu. Görev, 40 kalp sesi kaydını normal veya anormal olarak sınıflandırmaktı. Bir grup öneriyi ilk kararından önce gördü. Diğer grup önce yardımsız karar verip güvenini belirtti, ardından öneriyi görerek kararını değiştirebildi. Böylece ikinci düzende önerinin öncesiyle sonrası karşılaştırılabiliyor. Ancak bu görevde ölçülen sonucun sınırını korumalıyız: Bir kaydın sınıfı ölçüldü; hasta etkileşimi, ek klinik bilgi ve tedavi sonucu bu düzeneğin parçası değildi.[1]
Önerilerin doğruluğu dört blok boyunca yüzde 90, yüzde 60, yüzde 50 ve yüzde 0 olarak ayarlandı. Katılımcılar güvenilirlik düştüğünde bazı yanlış önerileri düzeltti. Buna rağmen insan ve yapay zekânın ortak doğruluğu ilk bloktaki yüzde 81,45’ten son blokta yüzde 58,33’e indi. Önce bağımsız karar vermek genel olarak daha iyi sonuç sağlamadı. Bu bulguyu, hekimlerin her koşulda denetim yapamayacağı biçiminde genişletmiyorum. Daha dar ve işe yarar sonuç şu: Bu deneyde insanın yanlış öneriye müdahale etmiş olması, yardımsız başarımın korunmasını güvenceye almadı. Bir denetim değerlendirmesinde bu iki sonucun ayrı raporlanmasını beklerim.[1]
Bozulmanın sırası ve ölçümün sınırı
Bozulmanın sırası, sonuçları yorumlarken ikinci bir sınır getiriyor. Güvenilirlik hep aynı yönde ve aynı sırayla düşürüldü. Son blokta ses kaydıyla görsel gösterim de kasıtlı olarak uyumsuzlaştırıldı. Dolayısıyla son bloktaki düşüşün tamamını yalnızca önerilerin yanlışlığına bağlayamayız. Sıra ve zaman etkileri dışlanmıyor; görsel uyumsuzluğun payı da ayrı ölçülmüyor. Rastgele grup ataması, öneriyi önce veya sonra göstermeyi bu görev içinde karşılaştırmaya yardım ediyor. Ancak bütün bozulma türlerinin etkisini birbirinden ayırmıyor. Bu nedenle son blokta gruplar arasında görülen farkı, klinikte hangi düzenin daha güvenli olduğuna dair genel bir sıralama olarak kullanmam.[1]
Katılımcıların yüzde 12,5’i güvenilirliğin azaldığını kendiliğinden bildirdi; açıkça sorulduğunda oran yüzde 37,5’e çıktı. İnsanların kendi kararlarına güveni, sisteme güvenlerinden daha erken azaldı. Bu ayrışma, öz güvenle sisteme güvenin ayrı ölçülmesini değerli kılıyor. Ancak insanların neden böyle davrandığını yalnızca bu sıralamadan çıkaramayız. Başlangıçta verilen sistem bilgisi, görev düzeni ve bozulmanın nasıl sunulduğu incelenebilecek etkenler. Bir sonraki çalışmada yalnızca güven sorularına dayanmak yerine, ilk kararın hangi örneklerde değiştiğini ve değişimin doğruyu yanlışa mı, yanlışı doğruya mı çevirdiğini de izlemek isterim. Böyle bir çözümleme, genel güven puanının saklayabileceği karar kayıplarını görünür kılabilir.[1]
Benim bu deneyden çıkardığım uygulama sorusu, denetimin hangi karşılaştırmaya göre başarılı sayıldığı. Yeni bir değerlendirme tasarlasaydım, yardımsız kararlarla ortak kararları aynı görev dağılımında karşılaştırır; bozulma sırasını değiştirerek sıra etkilerini ayrıca sınardım. Yanlış önerilerin düzeltilmesi, doğru kararların bozulması ve karar için harcanan süre ayrı sonuçlar olurdu. Bunlar mevcut çalışmanın kanıtladığı klinik çözümler değil, ölçümü genişletmek için önerilerim. Laboratuvardaki sınıflandırmadan hasta yararına geçiş ayrıca araştırılmalı. Bir araca insan onayı eklemekle yetinmeden, o onayın insanın başlangıçtaki karar kalitesini hangi koşullarda koruduğunu gösterebilen bir deney ararım.[1]