Kesin görünen sayının altındaki ölçüm
Janelle Shane’in 2019’da yayımlanan kitabından bir bölüm, 2022 sonlarında bir yapay zekâ dedektöründen yüzde 98,7 güvenle makine ürünü yanıtını aldı. NPR’ın 31 Ekim tarihli haberinde Shane, metni kendisinin yazdığını söylüyor. Burada dikkatimi çeken, sayının kesin görünümü ile dayandığı ölçüm arasındaki uzaklık. Araç bir metni sınıflandırıyor; okur ise bu sayıyı yazarın ne yaptığının ölçüsü olarak okuyabilir. Bu geçişte, dildeki örüntüden yazının üretim geçmişine uzanan iddianın ayrıca sınanması gerekiyor.[1]
Pennsylvania Üniversitesi’nden Chris Callison-Burch, birçok dedektörün bir dil modeline metnin ne kadar öngörülebilir olduğunu sorduğunu anlatıyor. Aynı açıklamaya göre modeller, eğitim verilerinde karşılaştıkları metinleri de alışılmadık ölçüde öngörülebilir bulabiliyor. Böylece insanın yazdığı ve sonradan bir modelin öğrendiği metin, makine üretimine işaret eden bir özellik taşıyabilir. Ölçülmek istenen özellik ile onu temsil etmesi beklenen belirti burada ayrışıyor: tanıdık dil, yazıyı kimin ürettiğini kendiliğinden belirlemiyor.[1]
Aynı işaretin farklı açıklamaları
Eğitim verisindeki tanışıklığın Shane’in sonucuna katkıda bulunmuş olabileceği çıkarımını makul buluyorum; Callison-Burch de bunu olası bir açıklama olarak sunuyor. Yine de bu tek örnek, hatanın nedenini belirlemiyor. Alternatif açıklama, metnin eğitimde bulunmasından bağımsız olarak insan yazımındaki örüntülerin aracın makine üretimi saydığı örüntülerle örtüşmesi. Bu ayrımı çözmek için önerim, üretim geçmişi belgelenmiş insan metinlerini, modelin eğitimde karşılaşıp karşılaşmadığı bilinen örnekler üzerinden karşılaştırmak. Yalnızca son puanlara bakmak iki açıklamayı ayıramaz.[1]
Callison-Burch, Sally McGraw’ın yayımlanmamış iş örneğinin eğitimde karşılaşma sorunuyla açıklanamayacağını, ancak yazım biçimindeki örüntüler yüzünden yanlış işaretlenebileceğini belirtiyor. Bu fark, eski bir kitaptaki hatayı her yeni başvuruya aynı nedenle taşımamayı gerektiriyor. Pangram yöneticisi Max Spero’nun kısa metinlerde hata olabileceğini kabul etmesi de sınanacak koşulları somutlaştırıyor. Bir aracın değerlendirmesinde, metnin uzunluğu ve daha önce yayımlanıp yayımlanmadığı görünür olmalı. Farklı koşulları tek bir başarı sayısında toplamak, kararın dayandığı belirsizliği gizler.[1]
Suçlama için gereken kanıt
McGraw, örnekleri kendisinin yazdığını ve birden çok aracın bunları işaretlediğini söylüyor. Müşterisi taramayı doğruluyor; başka yazarı seçmesini ise deneyim ve işe uygunlukla açıklıyor, sonuçların belirleyici olmadığını belirtiyor. Dolayısıyla bu olaydan dedektörün işe alınmamaya yol açtığı sonucu çıkarılamaz. Aynı dikkat, dedektörün çıktısı için de gerekli: işaretleme, yazara yöneltilen suçlamanın doğrulandığı anlamına gelmez. Bir aracın metni belirli bir sınıfa yerleştirmesi ile bir kişinin davranışı hakkında hüküm vermek arasında ek kanıt gerektiren bir basamak var.[1]
Clarkesworld editörü Neil Clarke, sonuçların kontrol edilmesi koşuluyla bazı araçların başvuruları ayıklamaya yardımcı olabileceğini düşünüyor; kendisi dedektör kullanmıyor ve yazarlara zarar verebilecek suçlamalara karşı uyarıyor. Bu olasılığı ciddiye almak, değerlendirme sorusunu da değiştiriyor. Benim aradığım karşılaştırma, editörün araçla ve araçsız incelemesinde belgelenmiş insan yazılarına ne olduğunu ölçer; yanlış suçlamaları, yakalanan makine metinlerinin yanında açıkça sayar. Ön elemede yararlı bir belirtiyi sınamak ile yazara karşı kanıtı sınamak farklı karar eşikleri gerektiriyor. Shane’in kesin görünen puanının açtığı soru tam burada duruyor: araç hangi kararı vermeye yetecek kadar doğrulandı?[1]