Kodlama eylemcisi düzeneklerinde gider farkı başarı farkını aştı
Aynı dil modellerini üç kodlama eylemcisi düzeneğinde sınayan araştırmada görev başına gider üç kata kadar değişti. Claude Code, büyük görev kümesinde mini-SWE-agent’a yakın sonuç verdi; OpenCode ise daha az görev çözdü. Tekrarlanan denemeler, küçük başarı farklarının olağan oynaklıkla karışabildiğini gösterdi. Bulgular ağırlıkla tek yazılım onarım sınamasını ve denenen ayarları kapsıyor.
Yapay Zekâ··Öğle
Tekrarlanan talimatlar faturayı büyüttü
Aynı model, görevler ve fiyat listesinde görev başına gider üç kata kadar değişti. Her adımda gönderilen sistem talimatları ve araç tanımları Claude Code’da yaklaşık 16.600 belirteç tutarken, OpenCode’da bu sayı 7.000 oldu; mini-SWE-agent için 1.000’in altında kaldı. Daha kısa talimatın kazancı, daha çok adım gerektiğinde azalabiliyordu. Bulgular ağırlıkla tek sınamaya dayanıyor; araştırmacılar Terminal-Bench 2.1 ile küçük bir karşılaştırma daha yaptı. Claude Opus 5 için denenen tek düzenek Claude Code oldu.[1]
Aynı modeller üç düzenekte sınandı
Shandong Üniversitesi’nden Yangze Liu ile Zhongyi Han, kodlama eylemcisi yapay zekânın çevresindeki yazılımın sonuçları ne kadar değiştirdiğini araştırdı. The Decoder’ın 24 Ekim tarihli haberi, 3 Ekim’de yayımlanan ön çalışmanın bulgularını aktarıyor. Düzenek denen bu yazılım; dil modeline sistem talimatlarını, kullanabileceği araçları ve konuşma geçmişinin yönetimini sağlıyor.[1]
Araştırmacılar beş modeli mini-SWE-agent, Claude Code ve OpenCode düzeneklerinde denedi. Yazılım hatalarını onarma görevlerinden oluşan SWE-bench Verified sınamasında 45 zor görev ve ayrı bir 447 görevlik küme kullandılar. mini-SWE-agent yalnızca komut çalıştıran Bash aracını sunarken, diğer iki düzenek özel araçlar ve otomatik geçmiş sıkıştırması içeriyor.[1]
Tekrarlar küçük başarı farklarını değiştirdi
Büyük kümedeki iki model için Claude Code’un puanı, mini-SWE-agent sonucundan iki yüzde puan bile ayrılmadı; sonuçlar beş puanlık aralıkta istatistiksel olarak eşdeğerdi. Zor görevlerde aynı ayarları yeniden çalıştırmak sonucu üç göreve kadar değiştirdi. OpenCode’un açığı, büyük görev kümesinde dokuz puana ulaştı. Bir modelde bu açığın yaklaşık yarısı çıktı sınırına bağlandı; yerel modellerdeki daha kısa süre sınırı da karşılaştırmayı etkileyen bir değişkendi.[1]
