Modeldeki gizli değişiklikler yapay zekâ eylemcisini yönlendirebiliyor
Microsoft araştırmacıları, bir dil modelinde seyrek etkinleşen ondan az nöronu değiştirerek gizli tetikleyici yerleştiren Lazarus yöntemini açıkladı. Bunun için model ağırlıklarına yazma erişimi gerekiyor. Eylemci olağan işlerini sürdürürken tetikleyici ortaya çıktığında saldırganın seçtiği komutu çalıştırabiliyor. Komut, eylemcinin önceden sahip olduğu yetkilerle yürütülüyor; araştırma model dosyalarının kökenini ve bütünlüğünü gündeme getiriyor.
Yapay Zekâ··Akşam
Model ağırlıklarının içine gizlenen tetikleyici
Microsoft’un araştırma birimi Microsoft Research, 10 Kasım’da Lazarus yöntemini açıkladı. Yöntem, büyük dil modelinde seyrek etkinleşen ondan az nöronu yeniden düzenleyerek o model üzerinde çalışan eylemcinin davranışını değiştirebiliyor. Saldırganın, modelin ağırlıklarını saklayan dosyalara yazma erişimi olması gerekiyor. Araştırmacılara göre bu işlem için modelin yeniden eğitilmesine gerek yok; değiştirilmiş model, gizli tetikleyici ortaya çıkana kadar olağan davranabiliyor.[1], [2]
Komutu mevcut yetkiler sınırlıyor
Microsoft örneğinde tarihin 2027’ye geçmesi, olağan bir görev sırasında saldırganın denetimindeki kodu indirip çalıştıran komutu tetikliyor. Komut, eylemciye önceden verilmiş araç ve terminal erişimiyle yürütülüyor. Yeniden düzenlenen bir nöron belirli bir çıktı birimini zorlayabiliyor; birkaç nöronun bağlanmasıyla ardışık çıktı üretilebiliyor. Müdahale, değişmemiş bir modele kötü niyetli ileti göndermek yerine modelin parametrelerini değiştiriyor.[1]
İnceleme güvenilir özgün ağırlıklara dayanıyor
Ele geçirilmiş bir hesap, üretim hattı veya depolama sistemi, dışarıdan indirilen modellerin yanında kurum içinde geliştirilmiş modelleri de etkileyebilir. Microsoft, güvenilir inceleme için özgün ağırlıklarla karşılaştırmayı ve modelin kökeninin doğrulanmasını vurguluyor. Şirket, ağırlık taraması, saldırı amaçlı sınama araçları ve doğrulanabilir imzalama üzerinde çalışıyor. Araştırma belirli erişim koşullarındaki arka kapı yöntemini açıklıyor; Microsoft, saldırganların Lazarus kullandığını gözlemlemediğini söylüyor.[1], [2]
