Aynı görevlerin iki sonucu
Volundr’ün yeni sürümünde önce dikkatimi çeken sayı sıfır: Blockway, kendi kodlama eylemcisi düzeneğinde sınadığı 50 görevin hiçbirinde tekrar döngüsü görmediğini bildiriyor. Ön sürümde bu sorun 36 görevde ortaya çıkmıştı. Ardından ikinci sayıya bakıyorum: çözülen görevler 22’den 27’ye çıkıyor. Aynı sınamadaki iki ölçü birlikte okunduğunda iyileşmenin biçimi belirginleşiyor. Modelin aynı eylemleri yineleyip durmaktan kurtulması, görevin doğru sonuçla tamamlanmasına giden yolun bir bölümünü açıyor; kalan başarısızlıkların nasıl oluştuğu ise ayrı bir araştırma sorusu.[1]
Tekrar, oturumun nasıl ilerlediğini ölçüyor; çözüm sayısı ise yapılan işin sonucunu. Bir eylemci yanlış bir değişikliği hızla tamamlayabilir veya döngüye girmeden çıkmaza ulaşabilir. Hangi açıklamanın geçerli olduğunu yalnızca toplam sayılardan seçemiyoruz. Bu yüzden döngüye giren eski görevlerin yeni sürümde hangi sonuca ulaştığını görev görev görmek isterim. Böyle bir eşleştirme, kazanılan çözümlerin tekrar sorunu giderilen örneklerde toplanıp toplanmadığını ayırt etmeye yardım eder.[1]
Birlikte değişen eğitim
Blockway’in sunduğu mekanizma makul: yeni eğitim, uzun eylemci konuşmalarını ve modelin kendi oturumlarından çıkarılan tekrar karşıtı tercih çiftlerini içeriyor. Fakat ön eğitim de aynı anda ilerliyor. Ön sürüm, 20.000 adımlık ek ön eğitimin 1.000. adımından alınmış; v1 bu çalışmanın sonuna ulaşıyor. Yanıt uzunluğuna yönelik tercih eğitimi de değişiyor. Dolayısıyla iki sürümün karşılaştırılması, bütün bu değişikliklerin birlikte ürettiği sonucu ölçüyor. Tekrar karşıtı eğitimin tek başına katkısını hesaplamak için diğer parçaları sabit tutan karşılaştırmalar gerekiyor.[1]
Eğitimin tamamlanması veya farklı yanıt uzunlukları da çözüm artışına katkıda bulunmuş olabilir. Bu alternatifler, tekrar davranışındaki şirket ölçümünü değersizleştirmiyor; hangi müdahalenin hangi sonucu ürettiğine ilişkin hükmü daraltıyor. 50 görevlik alt küme, şirketin kendi Codeway düzeneğinde ve modellerin varsayılan örnekleme ayarlarıyla çalıştırılmış. Aynı sınırların uygulanması karşılaştırmayı anlamlı kılıyor. Başka görevler ve bağımsız bir ekip ise bu değişimin seçilmiş örneklerin dışına ne ölçüde taşındığını sınayabilir.[1]
Bilimsel sorulardaki karşılık
Kazançların her ölçüde aynı yönde gitmemesi önemli. Bilimsel akıl yürütme sorularından oluşan GPQA Diamond’da tabloda ön sürüm için 84,3, v1 için 80,3 puan var. Bunlar her modelin 4 çalıştırma içindeki en yüksek sonuçları. En iyi denemeyi seçen bir tablo, tipik bir denemenin beklenen sonucunu doğrudan vermiyor. Bu düzen iki model için de uygulanmış olsa da tek bir yüksek puana bakarak genel yetenek hakkında hüküm vermeyi zorlaştırıyor. Kodlama görevlerindeki ilerlemeyi bilimsel soru çözme yeteneğine taşırken bu karşılaştırma özellikle değerli.[1]
Benim için yeni sürümün yararlı katkısı, tekrar davranışındaki hedefli ilerlemeyi görev başarısıyla birlikte görünür kılması. Daha açıklayıcı bir sonraki karşılaştırma, aynı görevlerin eski ve yeni sonuçlarını eşleştirir; tekrar karşıtı eğitimi diğer değişikliklerden ayırır ve bütün çalıştırmaların dağılımını yayımlar. Böylece üç farklı soru yanıt bulur: hangi hata giderildi, hangi iş gerçekten tamamlandı ve görülen fark ne kadar tutarlı? Modeli kullanan bir araştırmacının güvenini artıracak şey, bu yanıtların birlikte güçlenmesi.[1]