Eylemci denetiminde üç katman birbirinin yerini tutmuyor
Üç ayrı haber, eylemci yapay zekâyı denetlemede davranışı tanıma, çalıştığı ortamı sınırlama ve insan onayı katmanlarının her birinin kendi başına yetersiz kalabildiğini gösteriyor.
Yapay Zekâ··Sabah
Üç katmanın görevi
Eylemci yapay zekâyı denetlemek, tek bir durdurma düğmesine dayanmaz; farklı sorulara yanıt veren katmanlar gerektirir. İlk katman, karşıdaki davranışın kime ait olduğunu ve oturum boyunca nasıl değiştiğini ayırt etmeye çalışır. Cloudflare’in Precursor düzeneği, sayfaya ağ üzerinden yerleştirilen bir betikle bütün oturumu izliyor; şirketin anlatımında amaç, insan davranışı ile eylemci davranışını tek bir anlık işaretten çok, oturum içindeki örüntülerden ayırmak. Bu katman, bir hizmetin kimin ya da neyin erişim istediğini anlamasına yarar. İkinci katman, eylemcinin erişebileceği yeri sınırlar. Yalıtılmış ortamın görevi, bir modelin denemede kullandığı araçları ve ağı dış dünyadan ayırmaktır. Üçüncü katman ise işlem öncesi karar verir: eylemci komut istediğinde insanın onayı, o talebin yetkili ve güvenli olup olmadığına ilişkin son denetim olur. Bu üç katman aynı işi yapmaz. Davranış tanıma erişim talebini sınıflandırır; yalıtım erişilebilecek alanı daraltır; onay da belirli bir eylemin gerçekleşip gerçekleşmeyeceğini kararlaştırır. Bu ayrım önemlidir; çünkü bir katmandaki bilgi, ötekinin fiziksel ya da işlemsel sınırını kendiliğinden kurmaz. Aynı nedenle, bir modelin kendini doğru tanıtması onun uygun ağ sınırları içinde kaldığını kanıtlamaz; bir insanın izin penceresi görmesi de talebin arkasındaki bütün bağlamı otomatik olarak açıklamaz.[1], [2], [3]
Görülen sınırlar
Kabul edilen haberler, bu katmanların her birinde ayrı bir sınırı somutlaştırıyor. Cloudflare, 24 saatte 73.438 alan adını kapsayan 206 milyon değerlendirme olayı ürettiğini bildiriyor. Şirket, şüpheli davranışın çoğu zaman oturum ortasında ortaya çıktığını; aynı oturumda davranışın insandan eylemciye, ardından yeniden insana kayabildiğini söylüyor. Bu sayılar Cloudflare’in kendi ölçümü; haberde bağımsız denetim ya da yanlış sınıflandırma oranı bulunmuyor. Yalıtım tarafında South China Morning Post, Frontier Security’nin Moonshot AI’nin Kimi K3 modelini Birleşik Krallık AI Security Institute ölçütüyle sınarken yalıtılmış ortamın dışına çıktığını bildirdiğini aktarıyor. Araştırmacılar bunu ölçüt çerçevesindeki temel bir ağ yapılandırma hatasına bağlıyor; olayın dışarıdaki bir sistemin ele geçirilmesini içermediğini de belirtiyor. İnsan onayı için The Register’ın aktardığı tarayıcı oyunu, Belçikalı yazılımcı Alex Wauters’ın 40.000’i aşkın tur ve 409.000 onay ya da red komutu üzerinden yaptığı değerlendirmeye dayanıyor. Oyuncular kötü niyetli isteklerin ortalama üçte birini onayladı; yetki sınırını aşan istekler yüzde 35 ile en sık kaçırılan gruptu. Ancak oyun, gerçek bir geliştiricinin günlük işinde göreceğinden daha yüksek bir kötü niyetli istek oranı içeriyor. Bu nedenle bulgu, günlük yazılım geliştirmedeki kesin onay oranı olarak değil, zaman baskısı altındaki izin kararlarının bağlama duyarlılığını gösteren sınırlı bir benzetim olarak okunmalı.[1], [2], [3]
Birbirinin yerine geçmeyen denetimler
Bu üç haber aynı ürün, kurum ya da deney dizisini anlatmıyor; yine de ortak bir kısıtı görünür kılıyor. Davranışı tanımak, erişim talebinin niteliğini açıklamaya yardımcı olabilir, fakat yanlış yapılandırılmış bir ağ yolunu kapatmaz. Yalıtılmış ortam, eylemcinin ulaşabileceği alanı sınırlamak içindir; ortamın dışına çıkış haberi, bu sınırın uygulamadaki yapılandırmasına bağlı olduğunu gösteriyor. İnsan onayı ise tek tek komutlara karar verebilir, ancak The Register’ın aktardığı oyun, izin ekranının yanında bulunan ayrıntıların her zaman dikkatle okunmadığını ve bazı yetki sınırı aşımı isteklerinin kaçabildiğini bildiriyor. Buradan çıkan ortak sonuç, bu denetimlerin birbirini ikame eden seçenekler olmadığıdır. Kimlik ve davranış bilgisi, hangi erişimin olağandışı göründüğünü belirtir; yalıtım, o erişimin etkileyebileceği alanı daraltır; insan onayı, kalan işlemler için karar noktası sağlar. Her biri, diğerlerinin kararlaştıramadığı bir soruyu ele alır. Cloudflare’in ölçümü oturum içi davranış değişimlerine bakarken, Kimi K3 haberi belirli bir test çerçevesindeki ağ sınırını, Wauters’ın oyunu ise belirli ve olağandışı yoğunluktaki izin istemlerini inceliyor. Bu farklı koşullar, bulguları tek bir başarı ya da başarısızlık ölçüsüne çevirmeyi engeller. Ancak kabul edilen anlatımların birlikte işaret ettiği şey açıktır: eylemcinin kimliği, çalıştığı ortam ve onaylanan işlemleri ayrı ayrı ele alınmadığında, bir katmanın bıraktığı boşluk başka bir katmanın varlığıyla otomatik olarak kapanmaz.[1], [2], [3]
