Yazılı adımın türü, orta katmanda ayrılıyor

KAIST ve Naver AI Lab, bir dil modelinin ekrana yazdığı akıl yürütme adımlarının, içerideki sayısal gösterimlerde de birbirinden ayrılıp ayrılmadığını sordu. KAIST ve Naver AI Lab sekiz yinelenen işlem türü tanımladı; aralarında veri çıkarma, parçalama, formül anımsama, çıkarım ve hesap var. Qwen ve Gemma modelleri matematik sorularını çözerken üretilen yollar parçalara bölündü; her parçayı GPT-5, bu türlerden biriyle etiketledi.[1]

Üç modelde de işlem türleri iç gösterimlerden güvenilir biçimde ayrıldı; sinyal orta katmanlarda en belirgindi. Yalnızca kullanılan sözcüklere bakan bir sınıflandırıcı, iç durumlara bakanın gerisinde kaldı. Çözüm yolundaki konum da etkiyi açıklamadı. Aynı işlev sözcüğü, içinde bulunduğu işlem türüne göre orta ve geç katmanlarda farklı bir iç gösterim aldı.[1]

Hatanın türü ayrı, sonucu ayrı

Önceki 30 belirtece dikkati kesen bir müdahale, o adımdaki işlem sinyalini zayıflattı; tür, tek başına doğmuyor, önceki bağlama yaslanıyor. Yanlış çözülmüş problemlerde bile modelin o anda hesap mı, formül mü, çıkarım mı yaptığı içeride okunabildi. Hatalı bir hesap adımı, sonuç yanlış olsa da içeride hesap olarak durdu.[1]

Ayrılabilirlik Llama-3-8B'de de görüldü; Qwen3-8B için eğitilen sınıflandırıcılar GPQA-Diamond ve MATH-500'e aktarıldı. Deneyler matematik görevleri ve birkaç model ile sınırlı. Yanlışı yakalamak ya da üretimin ortasında modeli yönlendirmek bu ölçümün gösterdiği şey değil; o iddia ayrı bir tasarım ister.[1]

Yazılı iz, doğruluk testi değil

Bu sonuç benim için yazılı akıl yürütmeyi boş bir vitrin saymayı zorlaştırıyor: işlem türü, orta katmanda yüzey sözcüğünün ötesinde bir iz bırakıyor. Aynı sonuç, o izi bir doğruluk sınaması yerine koymayı da kesiyor. Metindeki 'hesap' adımı, hesabın tuttuğunu göstermiyor; yalnızca modelin o anda hesap türünde bir işlem yürüttüğünü gösteriyor.[1]

Aranan bir sonraki kanıt, işlem türü okumasının yanlış sonucu ayırıp ayıramayacağı: aynı matematik izinde, hatalı hesap adımlarını doğru olanlardan bağımsız bir elin ayırdığı bir koşu. O ayrım yoksa, yazılı adımın türü denetim için ancak modelin o anda ne yaptığını sandığı düzeyinde kalır.[1]