DeepSeek, LiveBench’te ABD modellerine yaklaştı; bildirilen fark yüzde 3
Bloomberg Intelligence analisti Robert Lea, DeepSeek V4.1 Flash’ın eylüldeki ilerleyişi ardından LiveBench’te ABD ve Çin modelleri arasındaki farkı yaklaşık yüzde 3 olarak hesaplıyor. Tek Bloomberg haberinde DeepSeek için 81,1, Anthropic’in en yüksek sonucu için 83,4 puan veriliyor. Karşılaştırma bu sınamadaki performansa ilişkin; ilk on beş modelin yalnızca üçü Çin’den ve sıralama değişebiliyor.
Yapay Zekâ··Sabah
Lea sınamadaki farkı yaklaşık yüzde üç hesaplıyor
Bloomberg’in araştırma birimi Bloomberg Intelligence’ın yeni karşılaştırması, önde gelen Çin yapay zekâ modellerini LiveBench’te ABD’li rakiplerine daha yakın gösteriyor. Kıdemli analist Robert Lea, 5 Ekim tarihli değerlendirmesinde farkı yaklaşık yüzde 3 olarak hesaplıyor; mayısta yaklaşık yüzde 9, yılın daha önceki bölümünde yüzde 15 düzeyindeydi. Business Times’ın yayımladığı tek Bloomberg haberi, bu karşılaştırmaları Lea’ya atfediyor. Değerlendirme, DeepSeek’in eylülde V4.1 Flash’ı sunmasının ardından geldi.[1]
LiveBench, modellerin sorulara, bulmacalara ve görevlere verdiği yanıtları puanlayan bir sınama sistemi. DeepSeek V4.1 Flash eylülde dünya sıralamasında altıncı oldu. Son puanı 81,1 olarak veriliyor; Anthropic’in en yüksek puanı ise 83,4. Lea bu sonuçları, önde gelen Anthropic ve OpenAI sistemleriyle karşılaştırılabilir performans olarak değerlendiriyor.[1]
Sayısal fark bu sınamaya ilişkin. Her uygulamada aynı fark bulunduğunu göstermiyor; 83,4 puanı alan Anthropic modelinin hangisi olduğu da açıklanmıyor.[1]
İlk on beş sıranın üçünde Çin modelleri var
Aktarılan sıralamada ilk on beş modelin yalnızca üçü Çin’den. Tek bir modelin üst sıralara yaklaşması, diğer sistemlerin ağırlıkta olduğu daha geniş bir dağılımın içinde gerçekleşiyor. Lea, Çin’deki ilerlemeyi artan yapay zekâ uzmanlığına ve yerli donanıma yönelik iyileştirmelere bağlıyor; sıralamaların değişebileceğini de belirtiyor. Yeni gelişme, eylülde sunulan V4.1 Flash modelinin yeniden piyasaya çıkması değil, analistin karşılaştırma değerlendirmesi.[1]
