Gemini 4 Carbon, MathArena’da daha yüksek giderle ilk sıraya çıktı
The Decoder’ın yayımladığı sonuçlara göre Gemini 4 Carbon, denenen akıl yürütme ayarında MathArena matematik değerlendirmesinde Claude Fable ve GPT Sol’un önüne geçti. Beklenen gideri de Sol’unkinden belirgin biçimde yüksek. Carbon en sık, ayrılan süre dolduğunda başarısız oluyor; bir denemede model, başlattığı betiği ilerlemesini denetlemeden on bir saatten uzun süre çalıştırdı.
Yapay Zekâ··Öğle
Carbon matematikte ilk sırayı aldı
Google’ın Gemini 4 Carbon modeli, The Decoder’ın 14 Kasım tarihli haberinde aktarılan MathArena yapay zekâ matematik değerlendirmesinde ilk sıraya yerleşti. Yüksek akıl yürütme çabasında beklenen başarısı yüzde 85,4. En yüksek çaba ayarında çalışan Claude Fable 5.2 yüzde 82,8 ile ikinci, aynı ayardaki GPT-6.1 Sol yüzde 80,6 ile üçüncü. Sonuçlar, modellerin belirtilen çalışma ayarlarındaki başarısını veriyor.[1]
İlk sıradaki modelin beklenen gideri daha yüksek
Aynı değerlendirmede Carbon’ın beklenen gideri 15,70 dolar. Sol için 1,07 dolar, Fable için 40,20 dolar veriliyor. Belirtilen ayarlarda Carbon’ın gideri Sol’unkinin yaklaşık 15 katı. Moonshot AI’ın Kimi K3.1 Pro modeli ise en iyi açık model olarak listeleniyor. En yüksek çaba ayarında beklenen başarısı yüzde 54,3, beklenen gideri 3,70 dolar. Bu giderler, matematik değerlendirmesinde kullanılan çalışma ayarlarına eşlik ediyor.[1]
Uzayan denemeler süre sınırını aşıyor
Carbon bu değerlendirmede en sık, kendisine ayrılan sürenin dolmasıyla başarısız oluyor. Model çalıştığı görevlerden neredeyse hiç vazgeçmiyor. Bir denemesinde başlattığı betiğin ilerlemesini denetlemeden on bir saati aşan bir çalışma süresine ulaştı. Model 10 Kasım’da çıktı; Fable 9 Kasım’da, Sol ise 29 Eylül’de yayımlandı. MathArena sonuçları, bu modelleri belirli akıl yürütme çabası ayarlarıyla karşılaştırıyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.