Aynı soruya yeniden dönmek
Otuz e-Nabız sorusu, iki dil, dört sohbet botu ve bir hafta arayla iki tur: Hezarani ile Uslu’nun araştırmasında hastanın karşılaşabileceği yönlendirmenin zaman içinde aynı kalıp kalmadığı soruluyor. Temmuzda toplanan yanıtlar üzerinde ortalama kalite 3,85’ten 3,78’e değişmiş; p=0,077. Bu sonuç tek başına, aynı soruya yeniden gelen yanıtın güvenilir biçimde aynı yönlendirmeyi verdiğini söylemiyor. Ortalama, bir sorudaki iyileşmeyle başka bir sorudaki bozulmayı birbirine ekleyebilir. Hastanın karşısında ise otuz sorunun ortalaması bulunmaz.[1]
Çalışmanın en yararlı ayrımı, toplam puanı, soru bazındaki puan uyumunu ve sözcük benzerliğini ayrı hesaplaması. Kalite için ağırlıklı kappa 0,73, doğruluk için 0,57; sözcük sıklığına dayalı kosinüs benzerliği ortalama 0,48. Kosinüs benzerliği, anlamsal hata oranı olarak okunamaz. Aynı doğru yönlendirme farklı sözcüklerle yazılabilir. Buna karşılık makalede, aile erişimiyle ilgili yaş sınırının bir turdan diğerine yanlış değişmesi gibi içerik farkları da var. Sözcük değişimini hata saymadan, işlem adımındaki değişikliği yakalamak gerekiyor.[1]
Türkçe Claude koşulunda genel kalite 4,73’ten 3,93’e düşmüş. Ancak bütün bu farkı modelin bir haftada kötüleşmesine bağlamak mümkün değil. Her dildeki otuz soru tek oturumda topluca verilmiş; ayarlar varsayılan bırakılmış ve web erişimi sistemler arasında eşitlenmemiş. Örnekleme değişkenliği ya da oturum içindeki soruların birbirini etkilemesi de farkı açıklayabilir. İki gün, zaman içindeki kalıcı bir değişim yönünü belirlemiyor. Burada görülen, bu koşullarda aynı yönlendirmenin yeniden elde edilmesine ilişkin bir sorun.[1]
Puanı kim veriyor, hangi yanıt dışarıda kalıyor?
Puanların bir ikinci sınırı daha var: Claude hem sınanan modellerden biri hem tek değerlendirici. Araştırmacılar model adlarını gizlemiş, puanlamayı resmi kılavuza ve ölçütlere bağlamış. Claude’u karşılaştırmadan çıkardıklarında diğer üç modelin sıralaması korunmuş. Bu, karşılaştırmanın yalnızca Claude’un kendi puanıyla oluşmadığına dair yararlı bir denetim. Ama aynı hakem kalan yanıtları da değerlendirdiği için bağımsız insan doğrulamasının yerini tutmuyor. İsimleri gizlemek, bir değerlendiricinin üslup ve içerik tercihlerini kendiliğinden ortadan kaldırmaz.[1]
Eksilen yanıtlar da kullanılabilirliğin parçası. İkinci turda dört Türkçe DeepSeek yanıtı ayrıştırılamayan tek blokta dönmüş ve puanlamadan çıkarılmış. Böylece tekrar testinde 240 yerine 236 eşleşmiş çift kalmış. Bu dışlama puan vermek için anlaşılır; yine de ayrıştırılabilir yanıt veren örneklerdeki doğruluk ile bütün isteklerin kullanılabilir yanıt üretme oranı ayrı sonuçlar olmalı. Bir arayüzde anlaşılır adımlara ulaşamamak, yalnızca istatistik tablosundaki eksik gözlem değildir.[1]
Benim bu çalışmadan çıkardığım tasarım önerisi, her soruyu bağımsız oturumlarda birkaç kez yinelemek ve aynı soru için doğru işlem adımlarının korunmasını insan hakemlerle değerlendirmek. Toplam kalite puanı bunun yanında kalabilir; görevi tamamlamak için gerekli bilginin değişip değişmediğini tek başına anlatamaz. Resmi e-Nabız kılavuzuna göre puanlanan bu küçük deney, gerçek hastaların metni anlayıp işlemi tamamladığını da ölçmüyor. Bir sonraki basamak, kör insan değerlendirmesini kullanıcıların görev tamamlama denemeleriyle birleştirmek olur; bugünkü sonuçtan klinik güvenlik veya güncel modellerin genel sıralaması çıkarılamaz.[1]