Puanın gözlem birimi

Medscape’in Clarus modeli için açıkladığı %88,6 ve %85,0 sonuçları ilk bakışta aynı başarı cetvelinin iki satırı gibi görünüyor. Oysa NOHARM v2, tıbbi önerilerde olası zararlı hataların sıklığı ve ağırlığına; HealthBench Professional ise hekimlerin belirlediği yanıt kalitesine bakıyor. İkisinin de doğrudan gözlemlediği şey üretilen yanıt. Bir hekimin o yanıtı okuyarak verdiği karar ve hastanın sonraki durumu, bu duyuruda başka bir ölçüm aşamasını oluşturuyor. Puanları anlamlandırmak için önce gözlem birimini bu kadar dar tutmak gerekiyor.[1]

Medscape bu sonuçlarla birlikte, yanıtları geliştirmek için kullandığı ClinVal yöntemini de ilk kez ayrıntılandırıyor. Güvenlik, doğruluk, ilgililik ve izlenebilirlik gibi boyutlarda 16 ölçüt var. Ölçütleri klinisyenler oluşturmuş, yapay zekâ mühendisleriyle birlikte geliştirmiş. Otomatik değerlendirme ile klinisyen incelemesinin bir araya gelmesi, tek bir özet puanın arkasındaki hata türlerini konuşmak için yararlı bir başlangıç. Yöntemin değeri, yalnızca yüksek bir sayı üretmesinden çok, değiştirilecek davranışı tarif edebilmesinde aranabilir.[1]

İyileştirme döngüsünün iki açıklaması

ClinVal’in belirleyici özelliği tekrarlanması: değerlendirme ürün değişikliğine yol gösteriyor, ardından yanıtlar yeniden puanlanıyor. Böyle bir döngü, mühendislik ekibinin yaptığı değişikliği klinisyenlerin önemsediği ölçütlerle ilişkilendirebilir. Ürünün iç gelişimini izlemek açısından bu somut bir katkı. Her sürümde hangi hata türünün değiştiğini görmek, yalnızca aralıklı dış sınama sonuçlarına bakmaktan farklı bir soru cevaplar. Bunun için bütün yöntemin klinik etkililiği kanıtlamasını beklemek, geliştirme sırasında yararlı olabilecek bilgiyi de gözden kaçırır.[1]

Aynı döngü, iyileşmenin yorumunu da dikkatli kurmayı gerektiriyor. Daha yüksek puan, yeni sorularda daha iyi tıbbi muhakeme anlamına gelebilir. Alternatif açıklama, modelin değerlendiricinin ödüllendirdiği anlatım biçimine veya sık karşılaşılan örneklere daha iyi uyum sağlamasıdır. Bu bir sızıntı tespiti veya Medscape’in yöntemi hakkında yapılmış deney sonucu değil; tasarımın ayırması gereken iki olasılık. Geliştirme boyunca görülen sorularla hiç görülmemiş soruların sonuçlarını ayrı vermek, hangi açıklamanın daha güçlü olduğunu tartışmayı mümkün kılar.[1]

Hekimin kararı nerede ölçülür?

Medscape, ClinVal’i dışarıdaki hekimlerle paylaşıp yöntem ve klinik ilgililik hakkında geri bildirim aldığını söylüyor. Bu, ölçütlerin anlaşılır ve uygun olup olmadığını tartışmaya açıyor. Bağımsız bir ekibin yeni örneklerle aynı sonucu elde etmesi ise farklı bir sınama olur. Daha da ileri bir aşamada, yardımcıyı kullanan hekim ile aynı işi yardımcı olmadan yapan hekimin kararlarını karşılaştırmak gerekir. Karşılaştırmanın konusu yanıtın akıcılığından gerçek kararın doğruluğuna geçtiğinde, seçilen ölçüm de bu yeni soruyu karşılamalı.[1]

Bu nedenle izleyen değerlendirmede, geliştirmede kullanılmamış soru kümesi ve önceden belirlenmiş değerlendirme kuralları özellikle değerli olur. Model sürümü sabit tutulup yanıtları inceleyen hekimlerin hangi sürümü gördüğü gizlenebilir; sık ve ağır hatalar tek ortalamada kaybolmadan ayrı raporlanabilir. Böyle bir karşılaştırma, iç kalite döngüsündeki kazanımın dış örneklere ne ölçüde taşındığını sınar. ClinVal’in bugün sunduğu yararlı ayrım da burada: geliştirilecek yanıtı seçmek, hekimin kararına katkıyı ölçmeye giden yolun belirli bir aşaması.[1]