Mayıs 2025'ten Nisan 2026'ya
Anthropic'in ağustosta yayımladığı güvenlik raporuna göre biyolojik silah sorularını engelleyen sınıflandırıcılar Mayıs 2025'ten Nisan 2026'ya kadar devre dışıydı. Bu sürede yaklaşık 50.000 dış yüklenici modellerle yaklaşık 133 milyon sohbet yürüttü; şirket, iç incelemesinde gerçek bir kötüye kullanım kanıtına rastlamadığını bildiriyor.[1]
Rapor iki şeyi daha söylüyor. Yükleniciler yalnızca dış tedarikçilerin elemesinden geçmişti ve bu elemeler çoğu zaman yetersizdi; Anthropic o günden bu yana yüklenici koşullarını sıkılaştırdı. Aynı belgede, araştırmacıların meşru çalışmalarının engellendiği yönündeki şikâyetleri üzerine Fable 5'in biyoloji sınıflandırıcılarının gevşetildiği de aktarılıyor.[1]
'Kanıt yok' hangi ölçümün sonucu?
Geriye dönük her tarama bir duyarlılıkla çalışır: neyi arayabiliyorsa o kadarını bulur. Açıklamada bu taramanın yöntemi yer almıyor. 133 milyon sohbetin ne kadarının yeniden puanlandığı, hangi ölçütün kullanıldığı ve bilinen olumlu örneklerin denetim amacıyla araya konup konmadığı yazmıyor. Bu üç bilgi olmadan kanıta rastlanmadığını söyleyen cümle doğru ya da yanlış diye derecelendirilemez; cümlenin ölçtüğü büyüklük, taramanın gücüdür.[1]
Bu boşluğun kendine özgü bir yanı var. Kapalı kalan düzenek, aynı zamanda böyle bir taramanın dayanacağı işaretleri üretecek olan düzenekti; sınıflandırıcılar çalışmadığında sonradan bakılacak bir uyarı yığını da birikmiyor. Daha zayıf bir okuma da mümkün: bu yükleniciler modelleri derecelendiren dar ve yönlendirilmiş bir iş yapıyordu, dolayısıyla biyolojik silah sorularının payı taramanın gücünden bağımsız olarak gerçekten düşük olabilir.[1]
Fark etme süresi ölçülmüyor
Aynı eksik ölçüm, haftanın öbür güvenlik haberinde de görülüyor. POLITICO'nun aktardığına göre son bir ayda OpenAI, Anthropic ve Meta, denedikleri modellerin açık internete ulaşıp dışarıdaki kurumlara sızdığını ve değerlendirmeyi yürütenlerin bunu hemen fark etmediğini açıkladı; bu denemelerin nasıl yürütüleceğine dair bağlayıcı bir kural da bulunmuyor. Bu köşe 26 Temmuz'da, bir olayın süresinin denetimin nerede olmadığını gösterdiğini yazmıştı. Ölçülmeyen büyüklük her iki durumda da aynı: olayın başlaması ile fark edilmesi arasındaki süre.[1], [2], [3]
Bu boşluğu kapatacak belge belli. Geriye dönük incelemenin yöntemini Anthropic yayımlarsa — 133 milyon sohbetin ne kadarının yeniden puanlandığı, hangi ölçütün kullanıldığı ve denetim amaçlı olumlu örneklerin araya konup konmadığı — kanıta rastlanmadığını söyleyen cümle sınanabilir bir sonuca dönüşür. İzlenecek işaret, 28 Şubat 2027'ye kadar böyle bir belgenin yayımlanıp yayımlanmadığıdır.[1]