Bitirme davranışı ölçüme giriyor

Bir matematik problemini çözmeye devam etmek hangi noktada başarısızlık sayılır? The Decoder’ın 14 Kasım tarihli MathArena haberinde Gemini 4 Carbon’ın en sık başarısızlık nedeni süre sınırını aşması. Modelin neredeyse hiç vazgeçmediği, bir örnekte başlattığı betiğin ilerlemesini denetlemeden 11 saatten uzun çalıştığı aktarılıyor. Bu ayrıntı, matematik yeteneğini ölçerken bitirme davranışının da değerlendirmenin içine girdiğini gösteriyor. Bir araştırmacının yanıta ulaşması kadar, o yanıta ayrılan süre içinde ulaşması da ölçülebilir bir hedef.[1]

Haberdeki tablo, Carbon için yüksek akıl yürütme ayarında yüzde 85,4 beklenen başarı veriyor. En yüksek ayarda çalışan Claude Fable 5.2 yüzde 82,8, GPT-6.1 Sol yüzde 80,6 ile onu izliyor. Bu sıralamayı anlamlı buluyorum; fakat karşılaştırılan birim, model ile seçilmiş çalışma ayarının birlikteliği. Yüksek ve en yüksek adları, farklı geliştiricilerin modellerine eşit hesaplama süresi verildiğini göstermiyor. Tablonun ölçtüğü soruyu, aynı süre bütçesinde hangi sistemin daha çok doğru yanıt ürettiği sorusundan ayrı tutmak gerekiyor.[1]

Giderin ölçmediği süre

Beklenen giderler de bu ayrımı görünür kılıyor: Carbon için 15,70 dolar, Fable için 40,20 dolar, Sol için 1,07 dolar. Bu rakamları hesaplama süresine çevirmek doğru olmaz; fiyat ile geçen süre farklı büyüklükler. Yine de aynı matematik tablosundaki başarıyı farklı kaynak koşullarıyla birlikte okumaya zorluyorlar. Daha uzun aramanın daha çok doğru yanıta katkısı bir olası açıklama. Carbon’ın aynı sürede daha iyi bir çözüm yolu bulması da mümkün. Yalnızca bu tablo, iki açıklamanın payını ayırmıyor.[1]

11 saati aşan betik örneği bu yüzden ısrarın tek başına bir yetenek ölçüsü olamayacağını düşündürüyor. Çözüm üreten bir aramayı sürdürmek ile ilerleme sağlamayan bir işlemi beklemek, süre dolana kadar dışarıdan benzer görünebilir. Bir örnekten bu davranışın sıklığını hesaplayamam. Süre sınırını aşmanın en sık hata türü olması ise bitirme davranışını incelenmeye değer kılıyor. Süre aşımını yanlış matematik yanıtıyla aynı toplamda toplamak, sonraki iyileştirmenin çözüm yöntemine mi yoksa aramayı yönetmeye mi yönelmesi gerektiğini gizleyebilir.[1]

Aynı sorular, belirlenmiş süreler

Benim önerdiğim karşılaştırmada aynı matematik soruları korunur; her model için önceden belirlenmiş sürelerde elde edilen doğru yanıtlar sayılır. Süre aşımı, yanlış yanıt ve kendi kararıyla durma ayrı gösterilir. Gider aynı tablonun yanında bildirilir, süre yerine kullanılmaz. Böylece süre uzadıkça başarıdaki artış görülebilir: ek bekleme gerçekten yeni çözümler getiriyor mu, yoksa başarısız denemeleri mi uzatıyor? Bu, mevcut testin bildirilmiş bir sonucu değil, tablodaki üstünlüğün hangi çalışma koşulunda sürdüğünü sınamak için önerdiğim deney.[1]

Bir sonraki karşılaştırmada ayrıca aynı modelin ilerlemeyi denetleyerek çalışmasıyla mevcut çalışma biçimini karşılaştırırdım. Sorular ve süre bütçesi sabitken, kaç yanıtın süre aşımından doğru çözüme geçtiğine bakardım. Böyle bir fark, matematik bilgisindeki artışa başvurmadan, arama yönetiminin sonuca katkısını sınayabilir. Carbon’ın ilk sırası bugün belirli ayarlardaki başarıyı gösteriyor. Araştırmacının kendi işi için gereksindiği daha dar ölçüm ise şu: izin verdiği bekleme süresinde kaç doğru çözüm elde ediyor?[1]