CapLite, eylemcinin yazma yetkisini kullanıcının belirttiği değerlerle sınırlıyor
Yeni bir ön baskıda tanıtılan CapLite, yapay zekâ eylemcisinin yapacağı yazma işlemlerini dış içeriği okumadan önce sabitliyor. Yazılım, alıcı ve tutar gibi yetki belirleyen değerleri kullanıcının isteğiyle karşılaştırıyor. On beş modelle yapılan 13.935 saldırılı denemede başarılı araç saldırısı görülmedi. Ancak görevleri tamamlama oranı, korumasız eylemciye göre belirgin biçimde düşük kaldı; sonuçlar benzetim ortamına dayanıyor.
Yapay Zekâ··Akşam
Yazma işlemleri dış içerikten önce sabitleniyor
CapLite, yapay zekâ eylemcilerinin yazma yetkisini kullanıcının belirttiği alıcı, tutar ve hedeflerle sınırlıyor. Yeni ön baskıda anlatılan düzende eylemci, e-posta, dosya ya da web sayfası okumadan önce yapacağı yazma işlemlerini belirliyor. Sonraki bileşenler bilgi arayıp işlem değerleri önerebiliyor. İşlemi yürütme kararını ise sabit kurallı yazılım veriyor. Yetkiyi belirleyen değer, kullanıcının isteğinde yer almalı ya da kullanıcıdan ayrıca onay alınmalı. Sistemin model gerektiren bütün bileşenlerinde aynı dil modeli çalışıyor.[1]
On beş modelle saldırı denemeleri
Yazarlar, ağırlıkları açık on beş modeli AgentDojo içindeki benzetim ortamlarında denedi. Deneyler çalışma alanı, Slack, bankacılık ve seyahat görevlerini kapsadı. Modellerin on üçü parametre sayısı 1,7 milyardan 12 milyara uzanıyordu; iki büyük model de karşılaştırmaya katıldı. Araçla işlem yaptırmayı hedefleyen toplam 13.935 denemede CapLite karşısında başarılı saldırı görülmedi. Ek sınamalar, okuma isteklerinin hedeflerini ve kullanıcının tanımını taşıyan sahte nesneleri kullandı. Bildirilen bu denemelerde de başarılı saldırı çıkmadı.[1]
Görev tamamlama ve belirteç kullanımı
Aynı çalışmada CapLite, saldırı altındaki görevlerin yüzde 29,0’unu tamamladı. Bu oran CaMeL için yüzde 27,2, korumasız eylemci için yüzde 50,2 oldu. CapLite, deneme başına ortalama 17.100 belirteç kullandı; bu, CaMeL tüketiminin yüzde 18’ine karşılık geldi. Eksik ya da yanlış planlanan yazma işlemleri başarısızlıkların önemli bölümünü oluşturdu. Koruma, araç işlemlerini ve bunların yetki belirleyen değerlerini kapsıyor. Oluşturulan iletinin içeriği ve son yanıt bu korumanın dışında kalıyor; yalnızca yanıtı hedefleyen bir saldırı da bu sınırı gösterdi.[1]