Puanın ölçtüğü şey
Almadía’nın David Silva Rojas hakkındaki incelemeyi tamamlayıp roman ödülünü koruması, yapay zekâ dedektörlerine ilişkin önemli bir ölçüm sorusunu açıyor. Pangram’a dayandırılan yüzde doksan dokuz iddiası ile bir insanın romanı nasıl yazdığı arasında kurulması gereken kanıt zinciri var. Benim için belirleyici soru, sonucun ne kadar çarpıcı göründüğünden önce, hangi gözlemin neyi ölçtüğü. Bir metne verilen sınıflandırma sonucu, o metnin üretim sürecini doğrudan gözlemekle aynı bilgiye erişmiyor. Burada hükmün ağırlığı ile ölçümün taşıdığı bilgi arasındaki mesafeyi incelemek gerekiyor.[1]
Semanario ZETA’nın yayımladığı açıklamaya göre yayınevi, yazarın yazım sürecine ilişkin malzemelerini değerlendirdi; teknoloji uzmanları, hukukçular ve dil uzmanlarıyla görüştü. Jüri edebi kararını korudu. Bu yaklaşım, son metnin dilsel özelliklerinin yanına üretim sürecine ilişkin ayrı bir kanıt türü koyuyor. Ancak açıklamada uzmanların ayrıntılı yöntemleri ve değerlendirmelerini bağımsız olarak yeniden uygulamaya yetecek bilgiler bulunmuyor. Dolayısıyla yayınevinin güven bildirmesi, başka bir araştırmacının aynı malzemeler üzerinde aynı sonuca ulaşabildiği anlamına gelmiyor.[1]
Dedektörü değerlendirmek için ihtiyacım olan karşılaştırma, yazarlığı bilinen ve benzer koşullarda üretilmiş romanlar. Dil, tür ve metnin geçirdiği düzenlemeler sonuçla birlikte incelenmeli. Özellikle insan eliyle yazıldığı bilinen örneklerin ne sıklıkla yanlış sınıflandırıldığı önemli. Bu sıklık olmadan tek bir yüksek sonucun bir yazar hakkında ne kadar güçlü kanıt sunduğu hesaplanamıyor. Metindeki düzenlilik, hem kullanılan aracın aradığı örüntüden hem de yazarın üslubu ya da editoryal düzeltmelerden kaynaklanabilir. Bunları ayıracak bir karşılaştırma gerekir.[1]
İtibar için gereken kanıt
Dedektörün bu olayda yanılmış olması, araştırmaya açık; yanılmış olabilir. Almadía’nın açıklaması da romanın üretimini herkesin inceleyebileceği bir deney hâline getirmiyor. Eldeki iki yaklaşım farklı kanıtlar sunuyor: gazetenin aktardığı araç sonucu ve yayınevinin yazarın malzemeleriyle uzman görüşlerine dayanan değerlendirmesi. Birinin sınırlılığı diğerini otomatik olarak doğrulamıyor. İnandırıcı bir inceleme için hangi malzemenin hangi iddiayı desteklediğinin açıklanması, yöntemlerin sınırlarının da bu açıklamaya eşlik etmesi gerekiyor.[1]
İncelemenin insanlara etkisi somut. Yazarın İspanya gezisi tartışma sırasında durduruldu; yayınevi şimdi bu kararı yazarı korumak ve kitap buluşmalarının sorgulamaya dönüşmesini önlemek için aldığını söylüyor. İtibar üzerinde sonuç doğuran bir kararda yanlış sınıflandırmanın bedeli, yalnızca bir ölçüm tablosundaki hata olarak kalmıyor. Bu yüzden önce daha güçlü kanıt aramak, teknolojik yeniliğe karşı çıkmadan da savunulabilir. Aynı özen, yayınevinin kararının gerekçesini incelerken de geçerli.[1]
Bu olayda güvenimi artıracak adım, yeni bir yüksek puandan çok denetlenebilir bir yöntem olurdu: ilgili yazı türünde hata örnekleri, karşılaştırma koşulları ve yazım malzemelerinin iddialarla açık bağlantısı. Gizlilik, yazarın bütün özel çalışma malzemelerini kamuya açmasını zorunlu kılmadan da yetkin bağımsız incelemenin nasıl yapılacağını tartışmayı gerektiriyor. Almadía ödülü korudu; kamuya açıklanan değerlendirmede yeniden üretilebilirlik sorusu açık kalıyor. Okurun elindeki en sağlam sonuç, kurumun kararını ve bu kararın dayandığı kanıtın açıklanmış sınırlarını birlikte görmek.[1]