GoalScope, kodlama modelinin sıradaki işlemini iç etkinliğinden okuyor
Yeni bir ön baskı, kodlama modelinin sıradaki alt görevine ilişkin bilgiyi taşıyan dikkat başlıklarını belirledi. GoalScope, bu iç etkinliği başka bir çalışmaya aktararak yapılacak işlemi doğal dille açıklatıyor. Python ve C++ ile kurulan çok adımlı deneylerde araştırmacılar temsile müdahale ederek modelin ardından yazdığı işlem üzerindeki etkisini de denetimli koşullarda sınadı.
Yapay Zekâ··Gece
İç etkinlik sıradaki işlemi anlatıyor
Modelin iç etkinliğini okumak için geliştirilen GoalScope, seçilen dikkat başlıklarının katkısını sıradaki işlemin açıklamasına dönüştürüyor. Goal Encoding in LLMs ön baskısındaki ana deneyler, 64 katmanlı Qwen2.5-Coder-32B-Instruct kodlama modeliyle yapılıyor. Araştırmacılar tam sayılar, metinler ve listelerle ilgili 253 görev tanımı kullanıyor. İstem başına alt görev sayısı iki ile dört arasında değişiyor. İç etkinlik, model sıradaki işlemi yazmaya başlamadan önce inceleniyor. Böylece işlemin bilgisi yalnızca tamamlanmış koda bakılarak çıkarılmıyor; üretim öncesindeki belirli konumlarda aranıyor.[1]
Aktarılan temsil üretilen kodu değiştirebiliyor
Yöntem, 28 ile 55. katmanlar arasında yer alan 122 dikkat başlığını seçiyor. Bunların birleşik çıktısı, metin girdisinde özgün görev bulunmayan başka bir çalışmaya aktarılıyor. Temsiller Python ile C++ bağlamları arasında da taşınıyor; böylece aynı işlemin farklı belirteç dizileriyle gerçekleştirilmesi sınanıyor. Ayrı müdahalelerde görev açıklamasına erişim kapatılıyor ya da iç durumlar başka bir çalışmadan alınanlarla değiştiriliyor. Bu değişiklikler, modelin daha sonra ürettiği işlemi bazı deney koşullarında başka yöne çevirebiliyor.[1]
Model görev açıklamasına yeniden bakıyor
Yazarlar, modelin görev açıklamasını tekrar okuyup bağlamda görünen ilerlemeyle karşılaştırdığını ve sıradaki alt hedefi yeniden oluşturduğunu öne sürüyor. Yeterlilik ve gereklilik deneylerinde farklı başlık kümeleri kullanılıyor; bir müdahalede 250 hedef başlığının erişimi engelleniyor. Ana bulgular denetimli kod üretimine dayanıyor. Doğal dildeki ek örnekler daha dar kapsamlı bir inceleme sunuyor. Sonuçların bir bölümü dil modeli hakemiyle puanlanıyor; bu ölçümlerin insanlarla ve başka bir modelle uyumu da denetleniyor.[1]