Eigen RadarYapay Zekâ
Analiz

Qwen’in indirme yarışı ölçüm sorununa çarptı

Alibaba üç milyar indirmeyi öne çıkarırken Hugging Face sayımı daha düşük bir tablo gösteriyor; kullanıcıya özel kıyaslama araçları, model yarışında tek bir toplamın neden yetmediğini gösteriyor.

Yapay Zekâ··Akşam
Araştırmacılar aydınlık bir laboratuvarda farklı model ölçüm düzeneklerini karşılaştırıyor.

Alibaba üç milyar indirmeyi öne çıkardı

Alibaba’nın Qwen modellerinin son altı ayda 3 milyar indirmeye ulaştığını, Fortune’un aktardığı Hugging Face açık model raporu bildiriyor. Aynı rapor Google’ı 418 milyon, Meta’yı 227 milyon indirmede gösteriyor. Fortune’un Bloomberg imzalı haberine göre Qwen ailesi 460’tan fazla modeli açık kaynakla yayımladı ve ekosistemi 300.000’in üzerinde türev model doğurdu. İndirme sayısı, geliştiricilerin hangi modeli ince ayarlayıp kuracağına dair bir tercih ölçüsü sunuyor; kaç kişinin aynı ağırlıkları bitmiş bir üründe kullandığını göstermiyor. Habere göre rakamların kaynağı Hugging Face’in 14 Ağustos tarihli açık model durum raporu. Rapor, Qwen için hem indirme hacmini hem de Google ve Meta ile aynı ölçekte tutulan karşılaştırma rakamlarını bir arada veriyor. Alibaba bu dönemde geniş bir açık model ailesi sundu; indirme toplamı, o ailenin Hugging Face üzerindeki dağıtım hızını öne çıkaran bir ölçüm olarak okunuyor. Son kullanıcı erişimine ilişkin ayrı bir sayı bu raporda yer almıyor. Fortune, indirme toplamının ince ayar ve kurulum tercihini yansıttığını, bitmiş ürün kullanımını ise ölçmediğini açıkça ayırıyor. Böylece 3 milyar indirme iddiası, açık model yarışında ilk bakışta net bir liderlik tablosu çiziyor; fakat tablonun neyi saydığı, bir sonraki ölçümle birlikte tartışmaya açılıyor.[1]

Hugging Face sayımı daha düşük bir tablo çiziyor

The Next Web, Hugging Face’in kendi sayımının Qwen’i Alibaba’nın verdiği rakamın altında gösterdiğini yazıyor. Alibaba, Qwen modellerinin 3 milyar indirmeyi ve 300.000’den fazla türev modeli geçtiğini duyurmuştu. Platformun kendi verisi tüm depolar için 2.061 milyon indirme ve 151.448 türev gösteriyor. 2026 yılına ait sayı ise 2.045 milyon. Türev sayısı, Meta’nın Hugging Face’teki tüm varlığının 2,6 katı olmayı sürdürüyor; dolayısıyla sıralama değişmiyor. İndirme sayısı yalnızca bu platformdaki etkinliği ölçüyor. Arayüz üzerinden kullanım, şirket içi kurulumlar ve Alibaba’nın kendi ModelScope platformu bu sayının dışında kalıyor. Aynı olay için iki farklı indirme toplamı yan yana duruyor: şirket duyurusu 3 milyar derken, platform sayımı 2.061 milyon indirme ve 151.448 türev veriyor. The Next Web’in aktarımı, sıralamanın korunmasına karşın mutlak rakamın nasıl hesaplandığının okuyucuyu doğrudan ilgilendirdiğini gösteriyor. Ölçüm birimi aynı kalsa bile kapsam, dönem ve hangi depoların toplandığı değişince liderlik tablosu da farklı görünüyor.[2]

Kullanıcıya özel kıyaslama tek toplamın yetmediğini gösteriyor

Artificial Analysis, The Decoder’ın haberine göre Optima adlı aracı açtı; kullanıcılar kendi verileri üzerinde modelleri deneyebiliyor. Araç mevcut değerlendirme kümelerini, Arize veya Langfuse gibi araçlardan gelen eylemci izlerini ya da yalnızca bir kullanım tarifini kabul ediyor. Modeller yanıt kalitesinin yanı sıra iş başına gider ve iş başına süre bakımından da karşılaştırılıyor. Puanlama için iki yol sunuluyor: ölçüt listesine göre değerlendirme ve iki yanıtı yan yana koyup tercih sorma. Ücretlendirme kullanılan modellerin gerçek belirteç giderleri üzerinden yapılıyor ve üzerine pay eklenmiyor; ölçüt başına model başına 0,125 dolar, ikili karşılaştırma başına 0,375 dolar alınıyor. Erken kullanıcılar finans ve muhasebe eylemcileri için ölçüt kurmuş, hukuki yazım üslubunun eşleştirilmesini denemiş. Araç şu anda erişime açık. Qwen yarışında 3 milyar ile 2.061 milyon gibi rakamlar platform içi dağıtımı ölçerken, Optima her kullanıcının kendi iş yükünde hangi modelin işe yaradığını ayrı ayrı sormaya yöneliyor. Açık model yarışı tek bir indirme toplamıyla kapanmıyor; hangi deponun sayıldığı, hangi dönemin alındığı ve hangi görevin denendiği sonucu değiştiriyor. Bu üç gelişme birlikte, model liderliğinin tek bir rakamdan çok ölçüm seçimine bağlı kaldığını gösteriyor.[3], [1], [2]

Kaynakça

  1. Haber kaynağıFortuneAlibaba'nın Qwen modelleri 3 milyar indirmeyi aştı↩1↩2
  2. Haber kaynağıThe Next WebHugging Face'in kendi sayımı Qwen'i Alibaba'nın verdiği rakamın altında gösteriyor↩1↩2
  3. Haber kaynağıThe DecoderArtificial Analysis, kendi verinizle model karşılaştırmanızı sağlayan Optima'yı açtı↩