NVIDIA, yerel asistan modeli Bolt E4B’nin ağırlıklarını açtı
NVIDIA, Gemma 4 üzerine sonradan eğittiği Nemotron 3.5 Bolt E4B modelini indirmeye açtı. Metinle çalışan model, konuşma içinde araç çağrıları yapabiliyor; düşünme ve konuşma ayarları ayrı denetleniyor. Küçültülmüş ağırlıklarla tam duyarlıklı sürüm farklı depolarda sunuluyor. Yerel asistanlar ve etkileşimli karakterler hedeflenirken, uygulamaya eklemeden önce kullanım alanına özgü sınamalar yapılması isteniyor.
Yapay Zekâ··Öğle
Bolt’un indirilebilir ağırlıkları yayımlandı
NVIDIA, yerel asistanlar için geliştirdiği Nemotron 3.5 Bolt E4B modelini 23 Ekim’de indirmeye açtı. Daha önce duyurulan modelin ağırlıkları artık geliştiricilerin erişimine sunuluyor.[1], [2]
Google’ın Gemma 4 E4B modeli üzerine sonradan eğitilen Bolt, metin alıyor ve metin üretiyor. Model kartında yerleşik görsel ya da ses girdisi tanımlanmıyor. Hedeflenen uygulamalar arasında cihaz ve ses asistanları, oyun karakterleri ve gömülü arayüzler var. Çok turlu araç çağrıları, konuşma sürerken uygulama işlevlerinin kullanılmasına yönelik olarak tasarlandı.[1]
Düşünme ile konuşma ayrı ayarlanıyor
Konuşma şablonundaki bir seçenek düşünmeyi açıp kapatıyor; çalışma sırasında düşünme bütçesi de sınırlandırılabiliyor. Ayrı konuşma modu, konuşmaya uygun çıktı davranışını denetliyor. Kartta yönerge izleme ve yanıtların verilen bağlama dayanması da hedefler arasında. Sonradan eğitim, NVIDIA’nın NeMo RL ve NeMo Gym araçlarıyla farklı görev ortamlarında pekiştirmeli öğrenme kullanılarak yürütüldü. Eğitim verisinin mayıs kesim tarihi, ekimdeki erişime açılma tarihinden farklı.[1]
Ana model ile taslak model ayrı sunuluyor
Küçük dosya biçimi Q4_K_M nicemlemesini kullanıyor; tam duyarlıklı BF16 ağırlıkları ayrı depoda bulunuyor. Ayrı DFlash taslak modeli, ana modelin denetlediği taslak çıktılarla çözümlemeyi hızlandırmayı amaçlıyor. Kurulum örnekleri ana modeli tek başına veya bu yardımcıyla çalıştırıyor. Ticari kullanım OpenMDW-1.1 koşullarına bağlı. Model kartı, uygulamaya eklemeden önce kullanım alanına özgü veriyle birim ve sistem düzeyinde doğrulama istiyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
