Makine yalan yere bağırınca

The Verge'ün aktardığı Center for Democracy and Technology anketine göre 2024-25 eğitim yılında ABD'de 6. ile 12. sınıf arasındaki öğretmenlerin yüzde 43'ü öğrenci ödevlerini bir yapay zekâ dedektöründen geçirmeye başlamıştı. Turnitin, GPTZero ve Pangram gibi araçlar, intihal denetleyicileri gibi metni bir veritabanıyla karşılaştırmıyor; kendi modellerine kelime seçiminin, ritmin ve cümle yapısının makine ürünü görünüp görünmediğini tahmin ettiriyor. Turnitin, insan yazısını yanlışlıkla yapay zekâ diye işaretleme oranının yüzde 1'in altında olduğunu, Pangram ise bu oranın 10.000'de 1'den az olduğunu söylüyor; çözülmüş bir sorun gibi görünecek kadar kesin rakamlar bunlar.[1]

Bu kesinlik, doğurduğu sonuçlarla örtüşmüyor. Thierry Rignol, bir öğretim üyesinin GPTZero kullanarak onu sınıfta bıraktığı ve bir yıl uzaklaştırdığı gerekçesiyle Yale'e dava açtı; dava dilekçesi, dedektörlerin kendisi gibi ana dili İngilizce olmayanları haksız yere hedef aldığını öne sürüyor -- bu iddia, 2023 tarihli bir Stanford bulgusuyla örtüşüyor: dedektörler ana dili İngilizce olmayanların denemelerini daha sık yanlış işaretliyordu. Adelphi Üniversitesi'nde bir öğrenci bu yıl şubatta benzer bir davayı kazandı. Suçlamalar kampüsle de sınırlı değil: Ozzy Osbourne'un oğlu Jack, Verge yazarı Kat Tenbarge'ı bir Rolling Stone yazısında yapay zekâ kullanmakla suçladı ve kanıt olarak Getsolved adlı dedektörü gösterdi; Tenbarge bu iddiaya itiraz etti. Yale, Johns Hopkins, Vanderbilt, Georgetown ve MIT bu gelişmelerin ardından söz konusu araçları devre dışı bıraktı ya da sınırladı; MIT'in kendi yönergesi, yapay zekâ dedektörlerinin işe yaramadığını açıkça belirtiyor.[1]

Kimsenin işaretlemediği öğrenciler

Bu arada tam tersi bir hata, başka bir grup okulda yıllardır sürüyordu. East Los Angeles College'dan öğretim üyesi David Song, The Decoder'a çoğunluğu Latin ve Asya kökenli öğrencilerden oluşan bir tarih dersinde kuşkulu biçimde sıradan İngiliz-Sakson isimlerin belirmesiyle bu düzeni fark ettiğini anlattı; bu düzen, sonradan ABD meslek yüksekokullarına sahte öğrenci yerleştirip mali yardım çekmeyi, ardından dolandırıcılığı görünmez kılmak için ödevleri yapay zekâya yaptırmayı amaçlayan bir dolandırıcılıkla bağlantılı çıktı. Hiçbir dedektör bunu yakalamadı; sınıfındaki gerçek öğrencileri hatırlayan bir öğretim üyesi yakaladı.[2]

İki haber de aynı boşluğu paylaşıyor: dışarıdan bakan hiç kimsenin belirli bir metnin bir insana mı yoksa bir modele mi ait olduğunu güvenilir biçimde anlamasının bir yolu yok. Dedektörler bu boşluğu kulağa kesin gelen bir yüzdeyle dolduruyor ve sonunda yanlış kişiyi cezalandırıyor; dolandırıcılık şebekeleri ise aynı açığı kullanıp bazen yıllarca yakayı sıyırıyor. Zamanla daha iyi araçların bu açığı kapatması mümkün; ama bir tedarikçi ürünü öven tek bir rakam yerine, aynı bağımsız örneklemde ölçülmüş hem yanlış pozitif hem yanlış negatif oranını yayımlayana kadar, hangi hatayı yaşama olasılığınızın daha yüksek olduğunu hiçbir rakam söylemiyor.[1], [2]