ReproBridge, makine öğrenmesi deneyinin hazırlanması sırasında ortaya çıkarılan kararları koruyup başka bir eylemcinin yeni oturumda deneyi yinelemesini amaçlıyor. Ön baskı, düzeltilmiş kodu, ortam kurulumunu, deney çalıştırıcılarını ve yeniden üretim kılavuzunu bir araya getiriyor. Değerlendirmede bu paketle daha çok başarılı tekrar bildiriliyor. Başarı ölçütü, sayısal uyumun yanında deneyin gerçekten yürütüldüğünü gösteren kanıtların denetimini de kapsıyor.
Yapay Zekâ··Öğle
Deney için yeniden kullanılabilir paket
ReproBridge adlı yöntem, Yubo Wang’ın da aralarında bulunduğu araştırmacıların 5 Kasım tarihli çalışmasında sunuldu. Yöntem, makale, yayımlanmış yazılım ve yardımcı belgeler arasında dağılmış deney kararlarını bir araya getiriyor. Hazırlanan pakette düzeltilmiş kod, çalışma ortamının kurulumu, deney çalıştırıcıları ve yeniden üretim kılavuzu bulunuyor. Daha sonra başka bir eylemci, yeni bir oturumda bu paketi kullanıyor. Araştırmacılar, hazırlık sırasında ortaya çıkarılan bilgilerin saklanmasının bağımsız deney tekrarına katkısını bu düzenle sınamayı amaçlıyor.[1]
Çalıştırma ve sayısal denetim
Sınama kümesinin kapsadığı 36 makalede 387 deney ve 1.029 görev bulunuyor. Görevler için kullanılan başvuru aralıkları, insan denetiminden geçmiş beşer ölçüme dayanıyor. Ayrı bir denetçi, bildirilen değerin hangi çıktıda bulunduğunu, onu hangi betiğin ürettiğini ve çalıştırma sırasını izliyor. Sayısal uyum da başarı koşulları arasında yer alıyor. Şüpheli durumlar ayrıca karşı denetimden geçiriliyor. Çalıştırmanın çökmesi ya da sonucun farklı çıkması, kendi başına uydurma ölçüm olarak kabul edilmiyor.[1]
Bildirilen kazanç ve kapsamı
Dört model üzerinde yazarlar, hazırlanan paketlerle ortalama yüzde 92,6, ham kodla yüzde 76,4 başarı bildiriyor. Sonraki çalıştırmalarda uygulama arayüzü gideri ortalamada yüzde 19,7 azalıyor. Paket hazırlama, denetim, grafik işlemci ve bakım giderleri bu hesaba katılmıyor. Bileşenlerin çıkarıldığı sınamalarda başarı düşüyor; bazı deneylerde ise paketli koşul ham koddan daha kötü sonuç veriyor. Çalışma, yayımlanmış deneylerin yeniden yürütülmesine odaklanıyor. Bildirilen gider farkı, araştırmanın bütün harcamaları yerine sonraki model kullanımını kapsıyor.[1]
