e-Nabız sorularına verilen yanıtlar bir haftada değişti, ortalama puanlar yakın kaldı
e-Nabız kişisel sağlık kaydı hizmeti hakkındaki sorularda dört sohbet botunun sunduğu yardım değişkenlik gösterdi. İki dildeki sorular bir hafta sonra tekrarlandığında, genel kalite puanları yakın kaldı ancak bazı yanıtların içeriği değişti. Bu tek çalışmada puanlamayı karşılaştırmaya da katılan bir model yaptı. Hasta katılımcılarla sınama yapılmadı ve sağlık sonuçları ölçülmedi.
Yapay Zekâ··Sabah
Yakın ortalamalar, değişen yönlendirmeler
Kişisel sağlık kayıtlarına internetten erişim hizmeti e-Nabız hakkındaki sorular bir hafta sonra yeniden sorulduğunda, sohbet botlarının ortalama yanıt kalitesi birbirine yakın çıktı. Eşleştirilebilen 236 yanıtta, beş üzerinden verilen genel kalite puanı 3,85’ten 3,78’e indi. P değeri 0,077 olan fark, araştırmada kullanılan istatistiksel anlamlılık sınırına ulaşmadı. Buna karşılık bazı yanıtların hem anlatımı hem içeriği değişti. Ankara Hacı Bayram Veli Üniversitesi’nden Hossein Boustani Hezarani ile Dilek Uslu, bu tek araştırmada dört modeli karşılaştırdı. Araştırma 30 Ekim’de yayımlandı.[1]
Hizmetin kullanımına ilişkin sorular
ChatGPT, Claude, Gemini ve DeepSeek, iki dilde hazırlanan 30 soruyla karşılaştırıldı. Sorular arasında hesaba erişim, tahlil sonuçlarını bulma, reçeteleri görüntüleme, randevu işlemleri, veri paylaşımı ve gizlilik vardı. Araştırmacılar sistemdeki hizmetleri bulup kullanmaya yönelik yardımı sınadı; tanı koyma ve tedavi seçimi bu sınamanın dışında kaldı. Turlar 13 ve 20 Temmuz’da yapıldı. İlk turdaki 240 yanıtın tamamı puanlandı. İkinci turda DeepSeek’in dört Türkçe yanıtı ayrıştırılamayan bir blok halinde geldi. Böylece o turda 236 yanıt puanlanabildi ve aynı sayıda eşleşmiş çift oluştu.[1]
Tek hakem ve dar kapsamlı sınama
Yanıtları yalnızca Claude puanladı. Değerlendirme sırasında model adları gizlendi ve resmi kullanım kılavuzunun dondurulmuş kopyası dayanak alındı. Claude’un hem sınanması hem hakemlik yapması, araştırmacıların açıkladığı bir çıkar çatışması oluşturuyor. Claude yanıtları çıkarıldığında diğer modellerin sıralaması korundu; bağımsız insan değerlendirmesine yine de ihtiyaç var. Her model, bir dildeki bütün soruları aynı oturumda aldı. Sorular ortak oturum bağlamını paylaştı. Varsayılan ayarlar da sistemler arasında internet erişimi farkları bıraktı. Bu koşullar sonuçların başka kullanımlara aktarılmasını sınırlıyor.[1]
Bütün modellerin metinleri, her iki dilde de önerilen kolay okuma düzeyinin üzerindeydi. Okunabilirlik, metnin özelliklerinden hesaplandı; kullanıcıların yanıtları ne kadar anladığı sınanmadı. Araştırmaya hasta katılmadı. Klinik sonuçlar ve verilen yönlendirmeleri izleyen insanların deneyimleri de ölçülmedi. Yazarlar insan hakemler, daha fazla dil ve daha uzun izleme öneriyor. Yalnızca iki tarihte alınan yanıtlar ve sınırlı sayıdaki kullanım sorusu, bulguların kapsamını daraltıyor. Daha uzun sürede güvenilirliğin nasıl değiştiği ise açık kalıyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
