Eksik sayı geldi

Alibaba, Qwen3.8-2.4T-A95B'nin açık ağırlıklarını yayımladı: 2,4 trilyon toplam parametre ve belirteç başına 95 milyar etkin parametre. NVIDIA aynı gün, modelin GB300 NVL72 rafında FP8 duyarlılıkta ve ek bir ayar yapılmadan saniyede GPU başına 4.000'in üzerinde, kullanıcı başına 350'nin üzerinde belirteç ürettiğini bildirdi. Bu iki hız üreticinin kendi ölçümü ve ilk güne ait.[1]

Bu sütun 3 Ağustos'ta, Qwen3.8-Max duyurusunun toplam parametrede durduğunu ve etkin parametre ayrımı olmadan bir konuşlandırmanın boyutunun daraltılamayacağını yazmıştı. O eksik sayı artık yayımlandı. Bir konuşlandırmanın ne kadar donanım isteyeceğini belirleyen sayı, belirteç başına dolaşıma giren 95 milyar parametredir; açıklanan 2,4 trilyon toplam bunu tek başına vermiyor.[2], [1]

İki hız, tek raf

Yayımlanan iki hız iki ayrı sınırı tarif ediyor. Saniyede GPU başına 4.000'in üzerinde belirteç bir verim ölçüsü, kullanıcı başına 350'nin üzerinde belirteç ise bir gecikme ölçüsü. Aynı Pareto eğrisi üzerinde gösterilseler de yazı, bu noktaya hangi yığın boyutu, hangi girdi ve çıktı uzunluğu ve hangi akıl yürütme derinliğiyle ulaşıldığını vermiyor. Bu üç sayı olmadan rafın aynı anda kaç isteğe hizmet ettiği geri hesaplanamıyor.[1]

Burada ölçülen birim çip değil, raf. GB300 NVL72, 72 Blackwell Ultra GPU'yu tek bir NVLink alanında topluyor ve tümden tüme bant genişliği saniyede 130 terabayt. İnce taneli bir uzman karışımında belirteç başına seçilen uzmanlar GPU'lara dağıldığı için, bu trafiğin raf içinde kalması hızın önkoşulu. Yine de rakamları raf ağının belirlediği kesin sayılmaz: NVIDIA aynı yazıda NVFP4 duyarlılığın ilerleyen dönemde daha iyi sonuç vermesini beklediğini yazıyor, bu da ilk gün sınırının yazılım yığınında da olabileceğini gösteriyor.[1]

Buradan izlenebilir bir koşul çıkıyor. NVIDIA'nın saydığı sunum yollarından biri (SGLang, vLLM veya NVIDIA Dynamo) bu model için yığın boyutunu, girdi ve çıktı uzunluğunu ve akıl yürütme ayarını saniyedeki belirteç sayısıyla birlikte yayımlarsa, kullanıcı başına hız yığınlar arasında karşılaştırılabilir bir sayıya dönüşür. Bunun 31 Aralık 2026'ya kadar yayımlanıp yayımlanmadığı, okurun kendi başına bakabileceği bir işaret.[1]