Yazılım onarımı derlemesinde doğru yamaları karşılaştıracak veriler eksik
Bintang Pratama’nın yazılım onarımı derlemesi, mevcut testleri geçen yamalarla ek incelemelerde doğru bulunan onarımları ayırıyor. Çalışma 151 dergi makalesini haritalıyor; 11 tam metni ayrıntılı inceliyor. Yedi araştırma eşleştirilmiş karşılaştırma sunuyor. Ancak aynı hatalarda iki yöntemin ayrı ayrı sonuçlarını gösteren veriler eksik olduğundan bilgi getirme ve araç kullanımının katkısı için ortak etki hesabı yapılamıyor.
Yapay Zekâ··Sabah
Eşleştirilmiş sonuçlar eksik
Bintang Pratama’nın yeni yazılım onarımı derlemesinde yedi araştırmadan, aynı temel modeli ve hata veri kümesini kullanan on karşılaştırma çıkarıldı. Kazancın büyüklüğünü bildiren dokuz karşılaştırmanın tamamında eklenen yöntem lehine sonuç vardı. Ancak her bir hatada iki yöntemin hangi sonuçları verdiği ve sonuçların değişkenliği yeterince bildirilmediği için ortak etki hesabı yapılamadı. 15 Kasım’da yayımlanan bu tek derleme, dil modellerinin bilgi getirme ve araç kullanarak yineleme özelliklerinin mevcut onarım araştırmalarında hangi koşullarda değerlendirildiğini inceliyor.[1]
Testi geçmek ve doğruluğu belirlemek
Bir yama, eldeki testleri geçse de testlerin kapsamadığı davranışlarda yanlış kalabiliyor. Derleme bu nedenle test takımını geçen adaylarla, doğruluğu bağımsız incelemeyle değerlendirilen onarımları ayırıyor. Modele ek bilgi verilmesiyle elde edilen kazanç da daha fazla yama denemesine izin verilmesiyle aynı tutulmuyor. Hatanın yerinin baştan söylenmesi, onarım görevinin koşullarını ayrıca değiştiriyor. Karşılaştırılan sistemler aynı dil modelini kullansa bile bu ayrımlar, sayılan başarılı onarımların neyi ölçtüğünü etkiliyor. Eski hata çözümlerinin model eğitimine karışması da değerlendirme sorunları arasında ele alınıyor.[1]
Üç ayrı inceleme düzeyi
Çalışma, 2022–2026 döneminden 151 dergi makalesini haritalıyor; 67 deneysel araştırmayı temel kümeye alıyor ve 11 tam metni teknik açıdan inceliyor. OpenAIRE ve Crossref üzerinden yürütülen aramada konferans bildirileri kapsam dışında bırakılmış. Özetlerdeki kodlamayla tam metin değerlendirmesi, farklı kapsamlara sahip kanıt düzeyleri olarak tutuluyor. Önerilen raporlama düzeni, hata düzeyinde eşleştirilmiş sonuçları, eşit deneme bütçelerini, bağımsız doğruluk ölçütlerini ve eğitim verisine karışma denetimlerini içeriyor. Dergi seçimiyle erişilebilir üstveri, derlemenin kapsamını sınırlıyor.[1]