Genişleyen NPCBench, aynı hastanın bakım yanıtlarını birlikte sınıyor
NPCBench’in genişletilmiş metni, yapay zekâyı geniz kanseri bakımının birbirine bağlı adımlarında değerlendiriyor. CarePath grubu artık 100 hastanın patoloji, görüntüleme evresi ve bakım kararlarını birleştiriyor. Hasta düzeyindeki katı ölçüt, aynı kişinin seçilmiş bütün yanıtlarının doğru olmasını gerektiriyor. Yazarlar, tek tek bakım kararlarındaki doğrulukla bu toplu başarı arasında fark bildiriyor; değerlendirme çoğunlukla tek merkezden gelen hasta verilerine dayanıyor.
Yapay Zekâ··Öğle
Bağlantılı sınama genişledi
NPCBench’in genişletilmiş metni, 5 Kasım’da arXiv’de yayımlandı. Çalışma, yapay zekâ modellerini geniz kanseri bakımının birbirini izleyen adımlarında sınamak için hazırlanmış. Yeni sürüm 4.777 bileşen ve danışma öğesi tanımlıyor. CarePath grubundaki 100 hastada, 100 patoloji değerlendirmesi, 100 görüntüleme evresi değerlendirmesi ve 217 bakım kararı bulunuyor. Bağlantılı görevlerin toplamı 417’ye ulaşıyor. Önceki proje tanıtımında daha az öğe ve tam bakım yolu yer alıyordu; yeni metin değerlendirmeyi büyütüyor.[1]
Aynı hastada doğru yanıtlar
Otuz model metin görevlerini tamamlıyor; bunların 21’i görüntülü görevlerle CarePath sınamalarına da katılıyor. Katı başarı ölçütünde aynı hastanın patoloji yanıtı, görüntüleme evresi ve seçilen bütün bakım yanıtları birlikte doğru olmalı. Yazarlar, en yüksek katı başarının yüzde 23 olduğunu bildiriyor. Tekil kararlarda daha yüksek doğruluk görülüyor. Onkoloji, patoloji ve radyoloji uzmanları soruları, her adımda erişilebilen bilgileri ve başvuru yanıtlarını inceliyor. Kullanılan hasta bilgileri kimliksizleştirilmiş hasta verilerinden oluşuyor.[1]
Hasta verilerinin sınırları
Hasta verilerinin çoğu tek merkezden geliyor; 75 bakım yolunda patoloji atanmış olarak kullanılıyor. Sınıfların dağılımı ve bir bakım yolundaki adım sayısı da değerlendirmeyi etkiliyor. Otomatik danışma puanlamasının genişletilmiş denetimi altı olguyu kapsıyor. Yazarlar, çok merkezli ve bütün verileri hasta temelinde eşleşen gruplara, ayrıca ileriye dönük çalışmalara ihtiyaç olduğunu belirtiyor. NPCBench, model yanıtlarını uzmanların bakım yollarıyla karşılaştırıyor. Çalışma, modellerin klinikte kullanılmasına onay vermiyor ve hastaların bu kullanımdan yarar görüp görmediğini sınamıyor.[1]
