Araştırmacılar, Terminal-Bench görevlerindeki kusurların kodlama eylemcilerinin puanlarına etkisini inceledi. Denetim ve önceki bulgular, seksen dokuz görevin yirmi sekizinde sorun belirliyor. Yönerge ile sınama arasındaki uyuşmazlıklar, değişen yazılım bağımlılıkları ve kaynak sınırları bunlar arasında. On dokuz eylemciyle yeniden değerlendirmede genel sıralama güçlü ilişkisini korurken yakın konumlar değişiyor. Ayrılan çalışma süresi de bazı karşılaştırmaların sonucunu etkiliyor.
Yapay Zekâ··Gece
Yirmi sekiz görevde sorun belirleniyor
Stanford ve Cornell üniversiteleriyle bağlantılı araştırmacılar, kodlama eylemcilerine terminalde uygulamalı işler veren Terminal-Bench görevlerini inceledi. Denetim ve önceki bulgular, seksen dokuz görevin yirmi sekizinde sorun belirliyor. Bazı yönergelerle puanlama sınamaları uyuşmuyor; başka görevlerde dış bağımlılıklar değişiyor ya da çalışma ortamı aksıyor. Örneğin sınama, yönergede belirtilmediği halde bir dosyanın değiştirilmemesini isteyerek geçerli çözümü reddedebiliyor. Görevin bilinen doğru çözümü ve ayrılan kaynaklar da denetlenen bileşenler arasında.[1]
Düzeltmelerin uygulanmasına insan bakımcılar karar veriyor
İş akışı, görev dosyalarını, önceki çalışma izlerini ve topluluktan gelen bildirimleri bir araya getiriyor. Denetçi sorunu sınıflandırıyor; ayrı bir doğrulayıcı, bilinen doğru çözümü yeniden çalıştırıp önerilen düzeltmeyi sorguluyor. Hangi değişikliğin uygulanacağına insan bakımcılar karar veriyor. Denetçi modellerin aynı sonuca varması doğruluk güvencesi sayılmıyor. İş akışı son düzeltme kümesinin oluşturulmasına da katıldığı için o kümeyle uyumu, bağımsız hata keşfi başarımı yerine geriye dönük bir karşılaştırma sunuyor.[1]
Kaynak bütçeleri de eylemci karşılaştırmasını değiştiriyor
On dokuz eylemciyle yeniden değerlendirmede genel sıralamalar arasındaki güçlü ilişki korunuyor, ancak yakın konumlardan bazıları değişiyor. Süre sınırının uzatılması da kimi eylemci düzenekleri arasındaki farkı daraltıyor. Kaynak düzeltmeleri, görevi sınırlayan süreyi, belleği veya işlemci koşulunu ayrı ele alıyor; bilinen doğru çözümün gereksiniminin üzerinde pay bırakıyor. Ön baskı bakım sürecini inceliyor; her düzeltmenin ilk kez makalenin yayımlandığı gün kullanıma açıldığı sonucunu kurmuyor.[1]
