EngramEdit, koşullu bellek kullanan dil modellerinin kısa sözcük dizilerine dayalı belleğini düzenliyor. Yeni ön baskı, bir bilginin farklı ifadelerle güncellenmesi için ortak temsilleri değiştirirken sık kullanılan girdilere daha güçlü sınırlama getiriyor. Deneyler, düzenleme başarısını, yeniden kurulmuş soruları, ilgisiz bilgileri ve çok adımlı akıl yürütmeyi sınadı. Bulgular araştırma düzenindeki bilgi değişikliklerine dayanıyor; kullanıma sunulmuş bir hizmet güncellemesini anlatmıyor.
EngramEdit, dil modelinde kısa girdi dizilerinin öğrenilmiş temsilleri çağırdığı koşullu belleği hedefliyor. Hongru Cai ve çalışma arkadaşları, genel hesaplama yapan ana ağı sabit tutarak bu bölümdeki bilgileri değiştirmeyi inceliyor. Tek ön baskı, DeepSeek Engram gibi mimarilere odaklanıyor. Farklı ifadeler farklı girdileri etkinleştirebilirken ortak bir girdi, birbiriyle ilgisiz birkaç bilgiyi etkileyebiliyor.[1]
Yöntem önce güncellenen bilginin birden fazla ifadede üretilmesini sağlayan bellek temsillerini hesaplıyor. Ardından ortak kısa dizi gömmelerini birlikte bu hedeflere yaklaştırıyor. Sık kullanılan girdilerdeki değişikliklere daha güçlü ceza uygulanarak diğer bilgilere ilişkin yanıtların korunması amaçlanıyor. Ek deneyler, çok sayıda bilginin sırayla değiştirilmesini inceliyor.[1]
Bilgi düzenlemesini değerlendiren CounterFact ve ZsRE veri kümelerinde değişikliğin başarısı, yeniden kurulmuş sorular ve ilgisiz yanıtlar sınanıyor. MQuAKE ise değiştirilmiş bilginin birden fazla akıl yürütme adımında kullanılmasını inceliyor. Ekip, kendi deney koşullarında genel yetenekler büyük ölçüde korunurken yüksek düzenleme başarısı bildirdi.[1]
Karşıolgusal hedefler deney için seçilmiş değişiklikler; gerçek dünyada doğrulanmış bilgiler değil. Yazarlar düzenlemenin yanıltıcı içerik yerleştirmek için kullanılabileceğini belirtiyor; güncellemelerin doğrulanmasını, düzenleme erişiminin yetkilendirilmesini ve istenmeyen etkilerin denetlenmesini istiyor. Daha geniş bellek mimarileri, model boyutları ve güncelleme sıklıkları araştırmanın ileride genişletilebileceği alanlar arasında.[1]
