Testin kapsamadığı koşul

Bir güvenlik testinden geçen modelin, denenen koşullarda ne yaptığını öğreniriz. Microsoft Research’ün Lazarus açıklaması, bu sınırın eylemciler için neden belirleyici olduğunu gösteriyor. Araştırmacılar, ağırlıkları değiştirilmiş bir modelin olağan değerlendirmelerde normal davranırken gizli bir tetikleyici karşısında saldırgan komutu üretebildiğini söylüyor. Aynı model için hem başarılı bir değerlendirme sonucu hem de tehlikeli bir koşullu davranış bulunabiliyor. Burada çelişki yok: testin sorduğu soru, modelde böyle bir koşulun hiç bulunup bulunmadığı sorusundan daha dar. Sonucu güvenlik hükmüne dönüştürürken kaybolan şey, tam da bu koşul.[1]

Açıklamadaki örnekte takvim değişimi tetikleyici olabiliyor. Bu örneğin değeri belirli bir tarihin özel tehlike taşımasında değil, davranışı değiştiren bilginin sıradan görev bağlamında bulunabilmesinde. Tetikleyiciyle karşılaşmayan denemeler, o koşul gerçekleştiğinde ne olacağını doğrudan gözlemlemiyor. Buradan bütün mevcut testlerin işe yaramadığı sonucu çıkmaz. Olağan görevlerde doğru davranış hâlâ anlamlı bir sonuçtur. Ancak ölçülen şeyi doğru adlandırmak gerekir: denenmiş girdilerdeki davranış, bütün olası bağlamlarda ağırlıkların güvenilir kaldığının kanıtı değildir. Bir başarısızlık gözlenmemesi, o başarısızlığı ortaya çıkaracak koşulun araştırılmış olduğu anlamına gelmez.[1]

Tehdidin bir önkoşulu var: saldırganın model ağırlıklarına yazabilmesi gerekiyor. Bunu dışarıdan gelen her istemin modeli değiştirebildiği biçiminde okumak yanlış olur. Ayrıca açıklama, gerçek sistemlerde bu tür saldırıların ne sıklıkta görüldüğünü ölçmüyor. Yapılabilirliği gösteren bir örnek ile yaygınlık tahmini ayrı kanıt türleri. Bu ayrım, hem gereksiz paniği hem de rahatlığı engelliyor. Bir kurum ağırlık dosyalarının güvenilir bir kaynaktan değişmeden geldiğini gösterebiliyorsa, açıklanan müdahalenin önkoşulunu farklı değerlendirir. Bu güvence yoksa normal görevlerde alınan iyi yanıtlar tek başına aynı soruyu çözmez. İki durumda aynı test puanı, aynı güvenceyi vermeyebilir.[1]

Davranış, dosya ve eylem

Microsoft, olağan dışı ağırlık değişikliklerinin gelişmiş eylemcilerle aranabildiğini, fakat hiçbir taramanın kesin güvenlik kanıtı oluşturmadığını belirtiyor. Güvenilir özgün ağırlıklarla karşılaştırma burada farklı bir gözlem sunuyor: modelin ne yanıt verdiğini değil, dağıtılan dosyanın beklenen dosyayla aynı olup olmadığını sorguluyor. Bu iki gözlem birbirinin yerine geçmez. Dosyanın değişmemiş olması, başlangıçtaki modelin bütün davranışlarını güvenli kılmaz; birkaç görevde güvenli davranması da dosyanın değişmediğini göstermez. Ölçümlerin ayrı tutulması, hangi belirsizliğin azaldığını açık eder. Böylece bir kontrolün başarısı, başka bir kontrolün henüz vermediği cevabı sahiplenmez.[1]

Diğer sınır da model çıktısıyla eylemcinin eylemi arasında. Açıklanan durumda model komut üretiyor; eylemci bu komutu kendisine verilmiş yetkilerle çalıştırıyor. Bu nedenle ortaya çıkan zarar yalnızca model yanıtının içeriğine bağlı değil, yanıtın hangi araçlara bağlandığına da bağlı. Aynı tehlikeli metni üretmek ile o metnin dosyaya, ağa veya terminale erişen bir eyleme dönüşmesi farklı sonuçlar. Araç erişimini sınırlamak ile arka kapıyı saptamak farklı soruları yanıtlar. Çıkarım daha dar: modeldeki sorunun eylem düzeyindeki etkisini anlamak için modelin sınandığı ortamla eylemcinin çalışacağı ortamı birlikte tarif etmek gerekir. Aksi halde sonucun hangi sisteme ait olduğu belirsiz kalır.[1]

Bu açıklamanın değerlendirme anlayışına katkısı, tek bir toplam güvenlik puanı aramak yerine iddiaları ayırması. Olağan görev başarısı, tetikleyici karşısındaki davranış, ağırlık bütünlüğü ve eylemin erişebileceği kaynaklar ayrı sorular. Birinin yanıtı ötekini kendiliğinden çözmüyor. Microsoft’un güvenilir sağlayıcının ele geçirilmesini kalan risk olarak anması da köken kontrolünün sınırını gösteriyor: güvenilecek başlangıç dosyası yanlışsa karşılaştırma doğru soruyu yanlış referansla sorabilir. Yeni kanıt, yalnızca daha yüksek bir başarı yüzdesi olmamalı; hangi koşulların gerçekten sınandığını ve hangi güven varsayımının korunduğunu açıklamalı. Güvenin dayanağı test sayısının çokluğu kadar, test sonucunun hangi iddiaya taşındığıdır.[1]