Pangram'ın çıktısı eser hakkında bir kestirim

Pangram, 24 çalışanı olan ve bugüne dek 13 milyon dolar toplayan bir şirket; sattığı çıktı, bir metnin ne kadarının yapay zekâ tarafından üretildiğini söyleyen tek bir yüzde. Temmuz sonunda Substack algılayıcıyı platformuna bağladı. Şirketin verdiği yüzdeler yayımlanmaktan çıkarılan romanların, ödül kazanan öykülerin ve gazete köşelerinin ardından geldi. En bilineni Mia Ballard'ın Shy Girl romanı: Pangram'ın genel müdürü Max Spero kitabın yüzde 78'inin yapay zekâ ürünü olduğunu X'te paylaştı, Hachette de yayımı sonradan iptal etti. Spero'ya göre puan, iptal edilen sözleşmelerde büyük tablonun yalnızca küçük bir parçası. Stony Brook'tan Tuhin Chakrabarty aynı aracı kendi yayımladığı 14.419 romana uyguladı ve neredeyse yüzde 20'sinde yüksek puan buldu; Chakrabarty şirketten kullanım kredisi alıyor.[1]

Pangram, yeni modelinde yanlış pozitif oranının yüzde 0,0041 olduğunu, sınırda kalan metni ise bilinçli olarak insan yazımı saydığını söylüyor; aynı ölçümde, yapay zekâ ile ağır biçimde yeniden yazılmış insan denemeleri yüzde 41,37 oranında insan yazımı görünüyor. Notre Dame'da hazırlanan ve yapay zekâ algılamasının akademik dürüstlükte neden yetersiz kaldığını inceleyen çalışma taslağı ise 3.2 sürümünün hafifçe düzenlenmiş akademik özetleri yüzde 64–80 oranında yapay zekâ yazımı olarak işaretlediğini, insanlaştırıcı araçtan geçirilen yapay zekâ metinlerini ise yüzde 4'ün altında yakaladığını bildiriyor. İki oran iki ayrı topluluğu tarif ediyor. Şirketin kendi açıkladığı sınırlar da ikinciye yakın duruyor: araç 100 kelimenin altındaki metinlerde daha kötü çalışıyor, ortanca girdi 350 kelime ve aynı bölüm tek başına ya da uzun bir metnin içinde tarandığında farklı sonuç verebiliyor.[1]

Meta'nın yaptırımı cihazda saptadığı olaya bağlı

Meta salı günü, kayıt göstergesi ışığını delen ya da kapatan kullanıcılara karşı yayımladığı yazılım güncellemesiyle binlerce yapay zekâ gözlüğünün kamerasını kapattığını doğruladı; şirkete göre işlem, satılan tüm gözlüklerin binde birinden azını etkiledi. Önceki güncelleme, ışık kapatıldığında kaydı durduruyordu ama engeli yalnızca çekimin başında denetliyordu; kullanıcılar da kaydı başlatıp birkaç saniye sonra ışığı kapatmayı öğrenmişti. Yeni güncelleme bu açığı kapatıyor. Ölçek konusunda dışarıdan sınanabilir tek sayı satış tarafında: Meta 2021'deki çıkıştan bu yana toplam satış rakamını açıklamıyor, yalnızca 2025'te 7 milyon çift satıldı. Kaç gözlüğün kurcalandığı ise şirketin kendi saptamasına dayanıyor.[2]

Sonuç iki dereceli. LED'i delinmiş bir gözlükte kamera bir daha çalışmıyor; ışığı yalnızca etiketle kapatılmış olanda etiket sökülünce kamera geri geliyor. Ayrım, donanımın geri döndürülebilir olup olmamasıyla örtüşüyor ve her iki durumda da yaptırım, çevredeki kişinin okuyabildiği tek göstergeye yöneliyor. Şirketin kendi beyanları bu ayrımın etrafında duruyor: giyilebilir ürünlerden sorumlu başkan yardımcısı Alex Himel perşembe günü Threads'te donanımı kurcalayanların çok küçük bir azınlık olduğunu yazdı ve kayıt ışığının çevredeki kişileri güvenilir biçimde uyarabilmesi için bu tür güncellemeleri sürdüreceklerini belirtti; teknoloji yöneticisi Andrew Bosworth ise pazartesi günü Instagram'da gözlükleri tüketiciler için gizliliği en çok gözeten kamera diye tanımladı. İkisi de ilgili tarafın açıklaması, bağımsız bir ölçüm değil.[2]

Meta'da derece var, Pangram'da itiraz yolu yok

Meta'nın yaptırımı kendi cihazında saptadığı fiziksel bir olaya bağlı ve ağırlığı o olayın geri döndürülebilirliğine göre değişiyor. Pangram'ın yüzdesi ise eserin kendisinden çıkarılan bir kestirim ve yayımcı, ajans ya da platform onu kullandığında derece de kalmıyor. Yanlış işaretlendiğini söyleyen bir yazarın izleyebileceği yayımlanmış bir yol da yok: Spero, yazının kendisine ait olduğunu kanıtlayana kimi durumlarda nakit ödül önerdiğini, bugüne dek kimsenin bunu kabul etmediğini söylüyor. Penguin Random House sözcüsü ise editörlerin onaylı algılama araçlarını kullanabileceğini, ancak bu araçların belirleyici olmadığını ve geniş bir yayın sürecinin tek bir parçası sayıldığını söyledi. Etiketi sökmek kamerayı geri getiriyor; yüzdeyi geri getirecek bir işlem tarif edilmiş değil.[1], [2]

Pangram tarafında da Meta tarafında da eksik olan belge aynı türden: eşiğin ne olduğunu, hangi topluluk üzerinde ölçüldüğünü ve yanlış işaretlenen kişinin nereye başvuracağını yazan bir yöntem açıklaması. Spero, model ve eğitim üzerine teknik raporlar yayımlamayı sürdürmeyi planladığını söylüyor; bu raporlar dağıtımdaki kullanım biçimine —100 kelimenin altındaki alıntılara, ortanca 350 kelimelik girdiye— karşılık gelen bir yanlış pozitif oranı taşımadıkça yüzde 0,0041 değerlendirme kümesinin özelliği olarak kalıyor. Meta tarafında sınanabilir belge, kurcalama denetiminin nasıl çalıştığını ve kamerası yanlışlıkla kapatılan bir kullanıcının hangi yolu izleyeceğini yazan açıklamadır. Şüpheciliğim mesleki deformasyonum, ama bir işaretin hangi olguyu kurduğu ile o işaretin bedelini kimin ödediği ayrı sorular; ikincisini yalnızca bu belgeler yanıtlıyor.[1], [2]