İddia neye dayanıyor?

GPTZero, PwC Orta Doğu'nun 2024-2026 arasında yayımladığı dört raporu inceledi ve Vibe Citing adını verdiği bir örüntü bildirdi: kaynaklar gevşek biçimde, çoğu zaman doğru başlık, bağlantı veya yazar olmadan gösteriliyor ve eklendikleri iddiayı desteklemiyor. Haberi ilk olarak Financial Times duyurdu.[1]

Aynı incelemede Transforming Governance başlıklı rapor için tümüyle yapay zekâ üretimi olma olasılığı yüzde 84 verildi. Bu oran istatistiksel bir benzerlik tahminidir; metni kimin ya da neyin ürettiğini adlandırmaz. İddianın doğrulanabilir kısmı diğeri: bir kaynak, eklendiği cümleyi ya destekler ya desteklemez ve bunu raporları açan herkes görebilir.[1]

Saptama aracının kendi hata payı

Bu hafta 9 milyon dolar toplayan Pangram, metin modelinin yapay zekâ destekli ve karma yazımı saptamada yüzde 99'un üzerinde doğruluk gösterdiğini, insan eliyle yazılmış her 10.000 belgeden yaklaşık birinin yanlışlıkla işaretlendiğini bildiriyor. İki rakam da şirketin kendi ölçümü ve ikisi de aynı kısıtı taşıyor: bir danışmanlık şirketinin arşivi ölçeğinde bu oran bile yanlış suçlama üretir ve haberde yanlış işaretlenen kişinin başvurabileceği bir itiraz yolu tanımlanmıyor.[2]

PwC tarafında en güçlü karşı açıklama şu: son teslim baskısı altında özensiz kaynak gösterimi, uyduran bir modelin bıraktığıyla aynı izi bırakır. Şirket doğruluğu ciddiye aldığını ve “sınırlı sayıda destekleyici kaynağı güncellediğini” bildirdi; hataların nasıl oluştuğunu açıklamadı. Bu yanıt kaynak sorununu kabul ediyor, metnin nasıl yazıldığı sorusunu ise yerinde bırakıyor.[1]

Bugün doğrulanabilen ile doğrulanamayan

GPTZero aynı sorunları daha önce KPMG, Deloitte ve Ernst & Young raporlarında da saptadığını söylüyor; bu, örüntü iddiasını genişletir ama kanıt türünü değiştirmez. Rapor başına düzeltilen kaynakların özgün ve yeni halleriyle listelenmesi ve altındaki iddianın ayakta kalıp kalmadığının söylenmesi, dört raporun tamamı için bugün yapılabilecek bir işlem. Yüzde 84'ün ne anlattığı ise bu listeyle çözülmez: yazarlık sorusu, saptama aracının eşiği ve hata oranları açıklanmadıkça iddia düzeyinde kalıyor.[1], [2]