Sabit vaka, değişen yönerge
Aynı vaka metnini okuyan modelin müdahaleye ne kadar yatkın olduğu, ona verilen hekim rolüyle değişiyor. npj Health Systems’te 14 Kasım’da yayımlanan çalışma, 20 açık ağırlıklı modelde rol verilmemiş koşul için yüzde 42,8 evet oranı bildiriyor. Dokuz rolün en düşük ve en yüksek oranları yüzde 36,9 ile yüzde 46,4. Aradaki 9,5 puan, hasta bilgilerine yeni bir bulgu eklenmeden ortaya çıkıyor. Ocakta ön baskısı paylaşılan araştırmanın hakemli yayını, sistem yönergesini ölçülmesi gereken bir karar ayarına dönüştürüyor.[1]
Deneyin güçlü hamlesi, karşılaştırmada klinik bilgiyi sabit tutması. Görev, bakım ve fayda temelli üç etik yaklaşım; sezgisel, bütünleştirici ve analitik üç düşünme biçimiyle eşleştiriliyor. Böylece değişen çıktıyı yeni hasta bilgisine bağlamak zorlaşıyor. Yine de bu düzenek, modelin insan hekimler gibi etik kanaat geliştirdiğini göstermiyor. Araştırmacılar da bu adları çıktıdaki düzenlilikler için kullanıyor. İkili yanıt biçiminin ve kısa rol tanımlarının ürettiği dilsel uyum, gözlenen değişimi açıklayabilecek bir başka mekanizma.[1]
Karar sayısının içindeki tekrarlar
İki veri kaynağı, sonucun kapsamını sınamaya yarıyor: 2500 kurgusal acil servis vakası ve 2500 gerçek taburcu özeti. Modeller aynı metinler için güvenlik, özerklik, tedavi, kaynak kullanımı ve izlem sorularını yanıtlıyor. Araç, bilgi getirme, bellek veya kendini düzeltme yok. Araştırmacılar iki kaynak arasında etkilerin yön uyumunu yüzde 85,7, büyüklük korelasyonunu 0,82 bildiriyor. Bu, iki metin türünde benzer bir duyarlılığa işaret ediyor; karşılaştırmanın ikisini de aynı ekip, aynı deney düzeninde yürütüyor.[1]
Ölçümün paydası ayrıca açıklık gerektiriyor. Yöntem bölümü, 5000 metin × 5 soru × 10 tekrar × 20 model hesabıyla 5 milyon karar veriyor. Aynı bölüm, dokuz rolün yanında onuncu bir temel koşul tanımlıyor. Koşul çarpanının bu toplamda nasıl sayıldığı açıkça gösterilmiyor. Bu belirsizlik, bildirilen farkı kendiliğinden çürütmez; fakat toplam karar sayısından kesinlik çıkarmayı güçleştirir. Ayrıca bir vakayı aynı modele tekrar sormak yeni hasta eklemiyor. Tekrarlar, aynı vaka üzerindeki çıktı değişkenliğini örnekliyor.[1]
Doğru yanıt için gereken karşılaştırma
Daha temel sınır, evet yanıtının anlamında. Çalışmada temel koşul, doğru yanıtlarla etiketlenmiş bir karşılaştırma kümesi sunmuyor. Kılavuza uygunluk ve sonuç doğruluğu hakemlerce değerlendirilmemiş. Dolayısıyla yüzde 42,8’den uzaklaşmak, hata oranının arttığı veya azaldığı sonucunu vermiyor. Özerklik sorusunda daha çok evet ile güvenlik sorusunda daha çok evet, aynı klinik anlama gelmeyebilir. Bütün koşullarda yüzde 100 evet veren bir modelin duyarlılık hesabından çıkarılması da düşük değişkenliğin tek başına iyi karar göstergesi olamayacağını hatırlatıyor.[1]
Bu bulgudan çıkarılabilecek somut değerlendirme tasarımı, rol değişikliklerini aynı vakalar üzerinde izlerken doğru ve yanlış müdahaleleri ayrıca ayırmak. Uzmanların önceden belirlediği yanıtlar, vaka düzeyinde eşleştirilmiş karşılaştırmalar ve açık koşul sayıları, eşik kaymasının hangi yönde yarar getirdiğini sınamayı sağlar. Bir sonraki basamak gerçek iş akışını da kapsamalı: araçlar ve klinisyen denetimi burada kapalıydı; bunlar etkileri azaltabilir veya farklılaştırabilir. Bu yüzden sistem yönergesinin sürümünü saklamak ve değişiklikten sonra aynı vakaları yeniden değerlendirmek, model adı sabit kalırken değişebilen karar davranışını görünür kılar.[1]