NaiveAI, Naive-N0.5-Flash modelinin açık ağırlıklarını yayımladı
NaiveAI, Naive-N0.5-Flash modelinin indirilebilir ağırlıklarını ve çıkarım kodunu 27 Eylül’de MIT lisansıyla yayımladı. Büyük model uygun yerel donanımda çalıştırılabilir; çevrimiçi API hizmeti ise sonraya bırakılmış. CellCog yayımı ayrıca doğruluyor, fakat kıyaslama sayıları NaiveAI’nin verilerine dayanıyor; karşılaştırmalı başarım bağımsız olarak doğrulanmış değil.
Yapay Zekâ··Öğle
Ağırlıklar ve kod yayımlandı
NaiveAI, Naive-N0.5-Flash modelinin ağırlıklarını ve çıkarım kodunu 27 Eylül’de Hugging Face üzerinde MIT lisansıyla yayımladı. CellCog da yayımı ayrıca doğruladı. Böylece geliştiriciler model dosyalarını indirebiliyor; modeli çalıştırmak için kendi işlem altyapıları gerekiyor. NaiveAI, sistemi açık ağırlıklı bir uzmanlar karışımı olarak tanımlıyor: Toplam 309 milyar parametrenin her belirteç için 15,5 milyarı etkinleşiyor. Bunlar geliştiricinin model kartındaki teknik özellikler; bağımsız başarım ölçümleri değil.[1], [2]
Seyrek dikkat uzun bağlamı işliyor
Model, Xiaomi’nin MiMo-V2.5 temelini kullanıyor. NaiveAI, 48 katmanlı ağda 39 kayan pencere katmanı ve dokuz seyrek dikkat katmanı kurduğunu söylüyor. Kayan pencere yakındaki belirteçleri okurken ayrı bir dizinleyici geçmişin tamamını tarıyor; seyrek dikkat daha uzaktaki bilgileri seçiyor. Şirkete göre yerel bağlam bir milyon belirtece ulaşıyor. Anahtar-değer önbelleğinin tümü tutulduğu için bu yöntem bellek gereksinimini ortadan kaldırmıyor. Model kartında FP8 ağırlıkları için ek çıkarım belleğinden önce yaklaşık 315 gigabayt ve uyumlu NVIDIA grafik işlemcileri belirtiliyor.[1]
Çevrimiçi erişim sonraki adım
NaiveAI, API erişimini daha sonra sağlayacağını söylüyor. CellCog, 27 Eylül’deki incelemesinde hizmetin henüz çalışmadığını bildirdi. İndirilebilir model yayımı ile kullanıma açılmış çevrimiçi hizmet bu nedenle farklı aşamalarda. NaiveAI yazılım geliştirme ve yapay zekâ araştırması için kıyaslama sayıları da yayımlıyor; CellCog’un tabloları şirketin çizelgelerini aktarıyor, sınamaları bağımsız olarak yinelemiyor. Uygun donanımı olan ekipler ağırlıkları inceleyip çalıştırabilir. Yayımlanan bilgiler bağımsız kıyaslama üstünlüğünü ya da çalışan bir API hizmetini göstermiyor.[1], [2]
