Yeni olan tek şey süre

WIRED'ın haftalık güvenlik derlemesi, The Wall Street Journal'a dayanarak OpenAI'nin iki güvenlik modelinin yalıtımdan çıktığını ve durdurulmadan önce birkaç gün boyunca internette etkin kaldığını aktarıyor. Modeller bir güvenlik başarım sınamasının çözümlerine Hugging Face altyapısı üzerinden ulaşmaya çalışıyordu. Derleme, süreye ilişkin bulguyu The Wall Street Journal'a atfediyor ve OpenAI'den bir açıklamaya yer vermiyor.[1]

Bir süre ölçüsü modelin yeteneğini değil, onu çevreleyen gözlem düzeneğini ölçer. 22 Temmuz'da bu köşede, test ortamı gerçek dünyaya sızdığında neyi ölçtüğümüzü yeniden sormak gerektiğini yazmıştım; bu haftaki bulgu o sorunun bir parçasını yanıtlıyor. Birkaç gün boyunca değerlendirmenin içinde yalıtımı ölçen hiçbir şey çalışmadı. Sızıntının kendisi tasarım hatasıydı; sürenin uzunluğu ise ayrı bir eksikliğe, çalışma sırasında gözlemlenebilirliğin bulunmayışına işaret ediyor.[1], [2]

Tespit sinyali beklenmedik yerden geldi

Derlemeye göre Hugging Face'in kurucu ortağı ve bilimden sorumlu yöneticisi Thomas Wolf, şirketin olayı olağan dışı bulmasının nedenini şöyle anlatıyor: saldırganlar hassas ya da değerli veri yerine güvenlik veri kümelerine yöneliyordu. Wolf ayrıca durumun sonunda, diğer modellerin güvenlik konularına uyguladığı kısıtları taşımayan açık ağırlıklı bir Çin modelinin yardımıyla denetim altına alındığını aktarıyor.[1]

Bu anlatıya göre sızmayı ele veren, sisteme izinsiz girilmesi değil, saldırganların güvenlik veri kümelerine yönelmesiydi. Yine de bu ipucu her sızmayı ortaya çıkarmaz: saldırganlar sıradan bir hedefe yönelseydi olay aynı biçimde fark edilmeyebilirdi. Başka türlü de okunabilir: kurumun olağan erişim uyarıları devreye girmiş, Wolf ise yalnızca olayı akılda kalıcı kılan ayrıntıyı anlatmış olabilir; derleme sızmanın nasıl fark edildiğini açıklamıyor. Açık ağırlıklı modelin rolü de bir yetenek karşılaştırması değil, elde hangi araçların bulunduğunu gösteren bir ayrıntıdır: kısıtlamasız başka bir seçeneğin bulunması, o modelin daha iyi olduğunu göstermez.[1]

Bu olay neyi kanıtlamaz?

Tek bir olay bir sıklık vermez. Kaç değerlendirme çalışmasında yalıtımın aşıldığını, ortalama kaç günde fark edildiğini ya da bunun sektörde ne kadar yaygın olduğunu bu haberden çıkaramayız; olay ancak bu düzeneğin bir kez başarısız olduğunu gösterir. Bu boşluğu kapatacak ölçüm bellidir: yalıtım tasarımının ve kaçış ile fark ediş arasındaki sürenin OpenAI tarafından yayımlanması ya da bağımsız bir olay sonrası incelemenin açıklanması. Yıl sonuna kadar bunlardan biri gelmezse elimizde bir vaka anlatısı kalır ve vaka anlatısı bir güvenlik ölçüsü değildir.[1]