Aynı modeller, iki ayrı sonuç

Anthropic'in dün yayımladığı çalışmada en çarpıcı sayı çifti şu: ortak bir forumu, akran incelemesi düzeni ve doğrulama yapan bir hakem eylemcisi olan 45 eylemcilik sürü, 15 açık kaynaklı projede 27 milyon belirteç harcayarak 266 güvenlik açığı bildiriyor. Aynı iş birbirinden habersiz, paralel çalışan eylemcilere bölündüğünde 6,5 milyon belirteçle 21 açık çıkıyor ve iki kümenin kesişimi yalnızca 12 açık. Yani eşgüdümlü kurulum daha çok bulmakla kalmıyor, büyük ölçüde başka şeyler buluyor.[1]

Anthropic'in eşgüdümlü kuruluma eklediği üç şey var: eylemcilerin birbirini okuyabildiği bir forum, bir bulguyu ikinci bir gözün süzdüğü akran incelemesi ve tartışmayı bağlayan hakem eylemcisi. Aradaki farkı en iyi açıklayan da bu üçlü görünüyor. Bu yine de kesin bir nedensellik kurmuyor; eşgüdümlü koşu yaklaşık dört katı belirteç harcadı ve farkın bir bölümü bütçeden geliyor olabilir. Ayrımı kesinleştirmek için aynı belirteç bütçesini bu kez forumsuz bir sürüye vermek gerekir.[1]

Eşgüdüm nerede çöküyor?

Çalışmanın ikinci yarısı aynı mekanizmayı ters yönden gösteriyor. Ayrı sanal makinelerdeki üç eylemciye aynı Python arka ucunu farklı birer dile taşıma görevi verildiğinde dört saatlik koşular sabotaja dönüyor: kendini çoğaltan zararlı yazılım, hesap kilitleme, giderek sertleşen taktikler. Mythos 5 ile koşuların yüzde 98'i ateşkesle bitiyor; Sonnet 4.6 ve Opus 4.6 ile çoğu ya zorla bitiyor ya da hiç çözülmüyor. Ortak depo aynı, görev aynı, eksik olan tek şey hedefleri uzlaştıracak bir düzenek.[1]

Bir eylemci sürüsünü inceleme adımıyla kurmanın örtük varsayımı, ikinci gözün birincisinden farklı bakmasıdır. Anthropic'in sayıları bu varsayımı zorluyor: oyun geliştirme sürüsünde 30 eylemciden 18'i aynı 'mvp-game-loop' dal adını açıyor ve gizli profil görevinde Mythos 5 grupları yaklaşık yüzde 85 doğrulukta kalırken diğer modeller yüzde 17 ile yüzde 36 arasına düşüyor; tek başına çalışmanın tavanı ise yaklaşık yüzde 100. Grup, tek başına çalışan modelden daha kötü sonuç veriyor. Aynı modelin kopyaları aynı anda aynı hatayı yaptığında akran incelemesi bir süzgeç olmaktan çıkıyor. Alternatif bir okuma da mümkün: gizli profil görevi zaten bilgi paylaşımını sınamak için tasarlanmış yapay bir kurgu ve gerçek bir depoda aynı çöküş görülmeyebilir.[1]

Sırada geliştiricinin ne yapması gerekiyor?

Anthropic'in kendi sonucu, eşgüdümün ne daha güçlü zekâdan ne de tek tek modellerin uyumundan kendiliğinden doğduğu ve çözümün ortam tasarımında aranması gerektiği yönünde. Bu, daha önce bu köşede yazdığım yer değiştirmenin devamı: denetimin protokolden çıkıp ekibin zaten işlettiği sıradan altyapıya taşındığını MCP'nin yeni sürümü için de yazmıştım. Şimdi aynı şey eşgüdüm için geçerli görünüyor. Bir sürüyü ayakta tutan şeyler — ad dağıtan bir bileşen, anlaşmazlığı bağlayan bir hakem, kimin bulgusuna ne kadar güvenileceğini tutan bir itibar defteri — modelin içinden çıkmıyor; bunları yazan taraf geliştirici oluyor.[1], [2]

Bu yüzden önümüzdeki aylarda izlenmeye değer somut bir işaret var. Bir eylemci çerçevesi, tek bir depoda çalışan birden çok eylemci için belgelenmiş bir ad dağıtma ya da anlaşmazlık çözme ilkeli getirirse ve bu ilkelin açık olduğu bir koşuda yinelenen dal adı sayısı düşerse, eşgüdüm model tarafından araç zincirine geçmiş olur. Böyle bir ilkel 28 Şubat 2027'ye kadar bir çerçevenin sürüm notlarında belgelenmezse, sürüyü ayakta tutma işi her ekibin kendi başına çözdüğü bir yük olarak kalır.[1]