Hazır dosyanın avantajı

Bir tanı sorusunun içinde, doğru yanıt kadar değerli başka bir şey bulunabilir: hangi bilgilerin toplanması gerektiğine önceden karar verilmiş olması. Hx2Dx ARENA’nın 10 Kasım tarihli ön baskısı bu avantajı kaldırıyor. Model, tamamlanmış vaka anlatısı yerine hastanın yaşı, cinsiyeti ve ana yakınmasıyla başlıyor; hangi soruyu soracağına, hangi tetkiki isteyeceğine ve ne zaman duracağına kendisi karar veriyor. Yedi modelin tamamı bu koşulda daha düşük doğruluk gösteriyor. Çalışmanın ilginç yanı yeni bir tanı şampiyonu çıkarmasından çok, hazır bilginin ne kadar işi önceden yaptığını ölçmeye çalışması.[1]

Karşılaştırma, New England Journal of Medicine’den alınan 1000 eğitim vakasını kullanıyor. Hazır dosya koşulunda tanı ve tartışma çıkarılıyor; etkileşimli koşulda hasta rolü yalnızca sorulanı yanıtlıyor, tetkik rolü ise özgün kayıttaki sonuçları getiriyor. GPT Luna 6’nın doğruluğu hazır dosyada yüzde 83,9, görüşmede yüzde 47,4: 36,5 puanlık bir açıklık. Burada görülen kayıp, aynı vaka kümesinde bilgiye erişim biçimi değiştiğinde ortaya çıkıyor. Bu eşleme yararlı; farklı hastaların veya farklı hastanelerin sonuçlarını tek bir karşılaştırma gibi sunma sorununu azaltıyor. Yine de ölçüm, gerçek hastalarla yapılmış bir klinik deneyden gelmiyor.[1]

Görüşmeciyi değiştiren deney

Araştırmacılar daha sonra en başarılı görüşmecinin, GLM 5.3 Flash’ın, konuşma dökümlerini diğer modellere veriyor. Son tanı çıkarılıyor; sorular, yanıtlar ve elde edilen tetkikler kalıyor. Böylece başka bir model, kanıtı kendisi toplamadan aynı görüşmeden tanıya ulaşabiliyor. GPT Luna 6’nın sonucu yüzde 56,3’e yükseliyor; modeller arasındaki açıklık 32,5’ten 11,4 puana daralıyor. Bu müdahale, bilgi toplama aşamasını incelemek için ilk sıralamadan daha açıklayıcı. Aynı sistemin daha iyi seçilmiş bulgularla ilerleyebilmesi, başarısızlığın tamamını son tanıyı üreten muhakemeye bağlamayı güçleştiriyor.[1]

Bununla birlikte aktarım deneyi, klinik soru sorma becerisinin kusursuz bir ayrıştırması sayılmaz. Daha düzenli veya daha uyumlu bir konuşma dökümü de sonucu iyileştirmiş olabilir; hasta ve değerlendirici rollerinin aynı model ailesine dayanması ölçüm ortamını ayrıca önemli kılıyor. Üstelik aktarım sonrasında da hazır dosya düzeyine ulaşılamıyor. En iyi görüşmecinin topladığı bilgi bile özgün anlatıdaki bütün ayırt edici bulguları geri getirmemiş olabilir. Bu nedenle tanı üretimi ile kanıt toplamanın ayrı ayrı sınanması gerektiği sonucuna varıyorum. Bulgular bu ayrımı destekliyor; gerçek hastadaki etkisini henüz ölçmüyor.[1]

Başarının içindeki kısmi tanı

Bir başka ayrım, başarı sözcüğünün içinde saklı. Ana ölçüt, doğru ve kısmen doğru tanıları birlikte sayıyor. GLM 5.3 Flash’ın etkileşimli sonucu bu ölçütle yüzde 54,4; yalnızca kesin tanılar sayıldığında yüzde 36,6. Yazarların gerekçesi anlaşılır: eğitim vakasının kesin tanısı, hastalık grubunun ötesinde biyopsi veya moleküler test gerektiren bir alt tipi içerebilir. Doğru grubu bulmak sonraki incelemeyi yönlendirebilir. Fakat bu iki oran farklı sorulara yanıt veriyor. Birinin klinik karar açısından yeterli olup olmadığı, hangi kararın verileceğine ve yanlışlığın bedeline bağlı; sıralama tablosu bu kararı kendiliğinden veremez.[1]

Sonraki değerlendirmede görmek istediğim, aynı ayrımın eğitim amaçlı seçilmiş nadir vakaların ötesinde korunması. Bu havuz sözlü iletişim kurabilen hastaların vakalarını içeriyor, İngilizce metinle işliyor ve görüşmeyi 50 turda kesiyor; onlarca yıllık vakaların eğitim verisine karışmış olma olasılığı da açık. Bu sınırlamalar yöntemin değerini silmiyor, sonucunun taşınacağı alanı belirliyor. Yeni bir hasta topluluğunda soru seçimini, elde edilen ayırt edici bulguları ve kesin tanıyı ayrı kaydetmek daha yararlı bir sonraki adım olur. Klinisyene teslim edilen dosyanın tamamlığı da ölçülebilir. Böylece sorulması gerekeni sormayan bir sistemin, yalnızca son yanıtı makul göründüğü için başarılı sayılması zorlaşır.[1]