600 milyar nerede, 27 milyar nerede?
StepFun, Step 5 Preview'ın seyrek uzman karışımı mimarisinde 600 milyar toplam parametre bulunduğunu, her belirteçte 27 milyar parametrenin etkinleştiğini söylüyor. Şirket ayrıca 1 milyon belirteçlik bağlam penceresi ile metin ve görüntü girişini birlikte duyurdu. Bu üç sayı aynı kapasiteyi ölçmüyor: 600 milyar bütün ağırlık kümesini, 27 milyar tek bir belirteç işlenirken seçilen alt kümeyi, 1 milyon ise isteğin taşıyabildiği bağlam uzunluğunu gösteriyor.[1]
Etkin parametre sayısı, her belirteçte bütün 600 milyarlık kümenin hesaplamaya girmediğini gösteriyor. Bu sayı tek başına modelin bellekte kaplayacağı alanı söylemiyor; ağırlıkların hassasiyeti, sıkıştırma biçimi ve uzmanların aygıtlar arasında nasıl bölündüğü açıklanmadı. Bu yüzden 27 milyarı doğrudan kurulum boyutu, 600 milyarı da her istek için çalışan yük gibi okumak iki farklı paydayı birbirine karıştırır.[1]
Teslim edilen katman API
Bugün erişilebilir olan ürün API; açık ağırlıklar için açıklanan tarih 15 Ekim. StepFun, kendi 24 saatlik GPU çekirdeği denemesinde MLA çekirdeğinin 508 TFLOPS, Claude Opus 5'in ise 493 TFLOPS tepe başarımına ulaştığını bildiriyor. Şirketin seçtiği iş yükünde yapılan bu ölçüm bağımsız değil; sunucu başına üretim hızı, gecikme ve güç tüketimi vermiyor.[1]
API kullanan ekip bugün yanıt süresini ve faturasını kendi trafiğinde ölçebilir. Yerel kurulum planlayan ekip ise ağırlık dosyaları, hassasiyet seçenekleri ve donanım yerleşimi yayımlanmadan gerekli bellek ile sürdürülebilir hızı hesaplayamaz. 15 Ekim'de bu ayrıntılar gelirse iki parametre sayısı gerçek bir kapasite planına dönüşebilir; ayrıntılı API ölçümleri de açık ağırlıklardan önce sınırlı bir ön tahmin sağlayabilir. Şimdilik teslim edilen kapasite, StepFun'ın işlettiği API'nin sınırları içinde gözlenebiliyor.[1]