Görünüm yükselince bağlanma katlanıyor

Aggarwal'ın arXiv'de yayımladığı ön baskıda 12 öncü modele, hiçbir verinin çözemeyeceği sorular hakkında profesyonel görünümlü piyasa panelleri sunuldu. Kanıt görünümü güçlendikçe modelin yönlü bir çağrıya bağlandığı koşuların payı yüzde 6,5'ten yüzde 54,0'a çıktı. Paneldeki bütün rakamlar uydurulduğunda — ekranda doğru olan tek şey sorunun kendisiyken — bağlanma yüzde 24,5'ten yüzde 36,8'e yükseldi; gerçek piyasa verisiyle ölçülen yüzde 37,6 ile istatistiksel olarak ayırt edilemedi. Sunumun otoritesi eylemi tetikliyor gibi duruyor.[1]

Yanıtlanabilir sorularda modeller neredeyse her seferinde ve yüksek doğrulukla yanıt verdi; yetenek eksikliği bu tabloyu açıklamıyor. Bildirilen olasılıklar, eylemi 48 puan oynatan gradyan boyunca neredeyse hiç kıpırdamadı. Ekrandaki sayılar harekete geçip geçmeme kararını kaydırıyor olabilir.[1]

Bilen kapı ile yapan el ayrılmış

Harekete geçmeden önce aynı soruların bilinebilirliği sorulduğunda modeller yanıtlanamaz olanları yaklaşık yüzde 90 oranında ayırt etti; bu sınıflamadan sonra bağlanma oranı yalnızca yüzde 0,4 kaldı. Kapı dar ve yerinde görünüyor — ta ki panel araya girene kadar. Bir eylemcinin önüne konan görsel kanıt, soruyu çözmez; yalnızca harekete izin veren kapıyı aşabilir.[1]

arXiv'de yayımlanan SARA önerisi de gözlemi eylem yetkisinden ayırıyor: araç çıktısı veri taşımayı bırakıp eylem adlandırmaya başladığında, bağlamdan yalıtılmış Action Probe eylemin kaynağını izliyor; gerçek araç çağrıları yalnızca kullanıcının amacına ve denetlenmiş kanıta karşı yetkilendiriliyor. AgentDojo ve AgentDyn başarım kümelerinde dört ana kurulumda saldırı başarısı yüzde 0,63'ü aşmadı. İki çalışma farklı yüzeyde koşuyor — biri piyasa paneli, diğeri araç çıktısı — ama ikisi de güvenilmeyen bir gözlemin doğrudan eyleme dönüşmesini frenlemeye çalışıyor.[1], [2]

Eğitilebilir ama biçime bağlı bir fren

Aggarwal, kapının ayrılabilir olduğunu ve eğitilebileceğini gösteriyor: 540 sentetik örnek üzerinde 3B'lik bir modelin denetimli ince ayarı, özgün vakalarda bağlanmayı yüzde 0,0'a indirdi ve görülmemiş üç alana taşındı. Ancak yanıt biçimi akıl yürütmeye yer bırakmadığında etki kayboldu; kapı eğitilebilir ve bağlama kırılgan — dağıtımda cümlenin iki yarısı da geçerli. Bir kurum paneli, araç çıktısı veya başka bir kanıt sarmalayıcısı eylemciye bağlam sunarken, hangi biçimin kapıyı açık bıraktığını denetlemek artık model kartından ayrı bir soru.[1]