Talimatın kaybolduğu yer

Penn State'teki araştırmacılar, geliştiricilerin bir süredir sezdiği bir şeye sayı koydu. Kurdukları değerlendirme kümesi COMPINT, oturum kurallarını — kullanıcının bir kez yazdığı sıradan yan koşulları, 'herhangi bir değişiklik yapmadan önce bana onaylat' gibi — sohbete yerleştiriyor, sonra yardımcı yer açmak için konuşma geçmişini sıkıştırdığında bu kuralların kaçının hâlâ geçerli olduğunu ölçüyor. Ortalama yüzde 17'si sağ kalıyor. Sınanan sıkıştırma düzeneklerinin çoğu, aynı görevi hiç sıkıştırmadan çalıştırmaktan daha kötü sonuç veriyor; bir geliştiriciyi asıl duraksatması gereken de bu.[1]

Düşüşün büyüklüğü akılda tutulmayı hak ediyor. Sıkıştırılmamış bağlamın tamamı ortadayken kurala uyum yüzde 59 ile yüzde 71 arasında seyrediyor; kusurlu ama gerçek bir işaret. Sıkıştırmadan sonra düzeneklerin çoğu, hiç kural verilmediğinde ölçülen düzeyin yakınına iniyor. Kullanıcı kısıtlarını korumak için özel olarak yazılmış bir sıkıştırma yönergesi bile tutmayı yüzde 40'ın altında bırakıyor; GPT-5.4-mini bazı senaryolarda sıkıştırılmamış temeli geçiyor, yani kayıp özeti çıkaran sisteme göre değişiyor.[1]

Sayının arkasındaki düzenek mimari görünüyor. Sıkıştırıcı, görevi ilerletmek için kurulmuş: hedef, mevcut durum, sonraki adımlar. Oturum kuralı bunların hiçbirine girmiyor; davranışı sınırlıyor ve özetleyicinin onu taşımak için yapısal bir nedeni yok. Bu okuma, ölçülmüş bir neden yerine örüntüden çıkarılmış bir yorum; makul bir başka açıklama da var. Oturum kuralları genelde kısadır, sohbetin başında gelir ve bir daha tekrarlanmaz; uzunluk ile yakınlığa bakan yalın bir ölçüt de aynı kaybı, kuralın ne olduğuna dair hiçbir eğilim taşımadan üretebilir. Sonuç iki durumda da aynı. Posta göndermeden önce sorması söylenen bir eylemci, sıkıştırmadan sonra postayı gönderir.[1]

Çözüm modelin yanında duruyor

Araştırmacıların önerdiği şey ilgi çekecek kadar küçük. Qwen3.5-9B üzerine kurulu ayrı bir model sıkıştırıcının yanında çalışıyor, her kullanıcı girdisini okuyor, oturum kurallarını kendi listesinde topluyor ve özet çıkarıldığında bu listeyi özete ekliyor. Tutma oranı sınanan üç senaryonun üçünde de yüzde 90'ın üzerine çıkıyor: eylemci izlerinde yüzde 95,6, uzun soluklu araştırmada yüzde 95,1, çok turlu sohbette yüzde 90,3. Eğitim gerektirmiyor, sıkıştırma düzeneğinde değişiklik istemiyor; COMPINT ile ayrıştırıcının ikisi de GitHub'da yayımlandı.[1]

Bu biçim, bence doğruluk sayısından daha önemli. Açığı kapatan şey, bir ekibin takıp inceleyebileceği, değiştirebileceği ya da çıkarabileceği bir bileşen; ağırlıkların bir özelliği olmak yerine araç zincirine takılan bir parça. Bu, 14 Ağustos'ta bu köşede Anthropic'in çok eylemcili çalışmasını okurken tuttuğum çizgiyi sürdürüyor: sürünün üstünlüğü de çöküşü de paylaşılan ortamın kurulmuş olup olmamasından geliyordu, bu da ad verme, hakemlik ve itibarı geliştiricinin yüküne çeviriyordu. Kural tutma da bir katman aşağıda aynı türden bir yük ve yığını kuran ekibin üzerinde kalıyor.[1], [3]

AMD'nin sayıları da aynı katmanı gösteriyor

AMD bu hafta, aynı biçimi sanayi ucundan tamamlayan bir sayı yayımladı. Radeon Software eXperience bileşeninde bildirilen sorunları çözen eylemciler, çalışma Ekim 2025'te başladığında sorunların yüzde 6'sını, Haziran 2026'ya gelindiğinde yüzde 75'ten fazlasını çözdü. Yazıyı kaleme alan kıdemli başkan yardımcısı bu kazancı, alttaki modelleri yeniden eğitmek yerine eylemcilere verilen hedeflerin keskinleştirilmesine ve onların tanımlı başarı ölçütlerine göre birkaç yolu denemesine bağlıyor. Bu, şirketin bir görüş yazısındaki kendi anlatımı; bağımsız denetim yok, inceleme süresi ya da hata oranına dair sayı yok, dolayısıyla satıcıya atfedilen bir kanıt olarak kalıyor.[2]

İkisini yan yana koyunca ortak kısıt görünür oluyor: her iki durumda da bağlayıcı sınır, modele ne söylendiği ve söylenenin ne kadarının ayakta kaldığıydı; her iki durumda da onarım ağırlıkların dışında yapıldı. Bu da tarihli bir sınama öneriyor. 31 Ekim 2026'ya kadar bir eylemci çerçevesi belgelenmiş bir kural tutma alanı yayımlar — sıkıştırıcının dokunamadığı bir yerde tutulan kullanıcı kuralları — ve COMPINT gibi açık bir küme üzerinde tutma oranı açıklarsa, kural yönetimi yönerge zanaatından araç zincirine geçmiş olacak. O tarihe kadar hiçbir çerçeve böyle bir alanı belgelemezse, yüzde 17 ekiplerin her yönergede yeniden dolanmak zorunda kaldığı bir özellik olarak kalır.[1], [2]