Sonuç tablosundaki boşluk

19 ek onarım, bir kodlama eylemcisinin seçilmesi için güçlü bir gerekçe gibi görünebilir. Bintang Pratama’nın 15 Kasım’da yayımlanan derlemesindeki ContrastRepair karşılaştırması, 337 yazılım hatası üzerinde bu büyüklükte bir fark bildiriyor. Benim dikkatimi çeken, farkın yanındaki boşluk: iki yöntemin hangi hatalarda birbirinden ayrıldığı bilinmeden, toplam sayılar karşılaştırmanın belirsizliğini belirlemeye yetmiyor. Bir yöntemin düzelttiği hataları ötekinin de düzeltip düzeltmediği, kararın matematiğinin parçası. Bu ayrıntı, toplam başarı tablosunun dışında kalıyor.[1]

Derleme 151 dergi makalesini haritalıyor, 67 deneysel çalışmayı sınıflandırıyor ve 11 çalışmayı tam metin üzerinden değerlendiriyor. Yedi çalışmadan çıkarılan on eşleştirilmiş karşılaştırmanın dokuzu büyüklük bildiriyor; hepsi ek yöntemin lehine. Yaklaşık yüzde 6–56 aralığındaki göreli kazanımların tek bir ortalamaya çevrilmemesi yerinde: doğruluk ölçütleri değişiyor, bazı değerler farklı düzeneklerin en iyi sonucunu veya aralığını temsil ediyor. Buradaki bilimsel soru, aynı model ve benzer bütçeyle aynı hatalarda kaç ek bağımsız doğru düzeltme elde edildiği. Testi geçen aday sayısı bu sorunun yalnızca bir bölümünü yanıtlıyor.[1]

Hata başına karşılaştırma

Derlemenin açıkça varsayımsal örneği eksik tabloyu görünür kılıyor. Yalnızca yeni yöntemle düzeltilen 30 hata ve yalnızca başlangıç yöntemiyle düzeltilen 11 hata, toplamda 19 ek onarım veriyor. Aynı fark 60 ile 41 sonucundan da çıkıyor. İkinci durumda yöntemler çok daha fazla hata üzerinde ayrışıyor. Derleme bu sayıları, aynı toplam farkın farklı belirsizliklere izin verdiğini gösteren varsayımsal örnekler olarak kuruyor. Hata başına eşleştirilmiş sonuçları yayımlamak, hangi durumların kazanıldığını ve hangilerinin kaybedildiğini görünür kılar. İncelediği karşılaştırmalarda derlemenin elde edemediği bilgi tam da bu.[1]

Bu tablo sağlansa bile ölçülen sonucun adı dikkatle konmalı. Adayı üretirken veya seçerken kullanılan testlerin son hakem yapılması, yönteme o testlere uyum sağlama fırsatı veriyor. Daha çok deneme hakkı da başarıyı artırabilir; olası başka açıklama, ek mekanizmanın gerçekten daha iyi düzeltmeler üretmesidir. Bu ikisini ayırmak için aynı modelin aday ve belirteç bütçesi eşitlenmeli, son doğrulama üretim döngüsünün dışındaki ölçütle yapılmalı. Böyle bir tasarım, eylemcinin ne kadar uğraştığıyla ne kadar doğru onardığını ayrı ayrı ölçebilir. Eşit toplam başarı, farklı deneme maliyetlerini gizleyebilir.[1]

Derlemeye de aynı ölçüt

Derlemenin kendisini de aynı titizlikle okumak gerekiyor. Konferans yayınları kapsam dışında; tamamlayıcı arama 119 böyle yayın bulmuş. Tam metin değerlendirmesi erişilebilir çalışmalara yöneliyor ve bağımsız ikinci değerlendiriciyle yinelenmiyor. Protokol önceden kaydedilmemiş. Bu sınırlar, bütün alan hakkında kusursuz bir tarama yapıldığı sonucuna izin vermiyor. Buna karşılık seçilen karşılaştırmalar için eşleştirilmiş hücrelerin elde edilememesi somut bir raporlama sorunu. Olumlu sonuçların daha kolay yayımlanması da gözlenen tek yönlü kazanımların olası açıklamalarından biri; hepsinin aynı yönde olması tek başına genellenebilir etki büyüklüğü vermiyor.[1]

Bir onarım yöntemini değerlendiren araştırma ekibine vereceğim karar ölçütü şu olurdu: aynı hatalar üzerinde hangi kazanımın neye mal olduğunu gösterin. Derleme, eşleştirilmiş başlangıç maliyetiyle birlikte bağımsız doğru onarım başına maliyeti hesaplayamıyor. Para, belirteç ve süreyi birbirine dönüştürmeden, her birini doğru onarım sayısıyla birlikte raporlamak işe yarar. Hata başına sonuç tablosu, eşit deneme bütçesi ve bağımsız doğrulama birlikte verildiğinde 19 sayısı araştırma kararına daha fazla şey söyler. Daha çok adayın mı, daha güçlü bir mekanizmanın mı seçildiği o zaman tartışılabilir.[1]