Baidu, ERNIE Flash Base ağırlıklarını ek eğitim için açtı
Baidu, kendi sistemlerini eğitmek isteyen geliştiriciler için ERNIE 5.5 Flash Base ağırlıklarını indirmeye açtı. Bu sürüm, ön eğitimin sonunda elde edilen modeli içeriyor; yönergelere uyarlama ve sonraki eğitim aşamaları geliştiricilere bırakılıyor. Uzman karışımı mimarisi her belirteçte modelin yalnızca bir bölümünü çalıştırıyor. Ağırlıkların kullanımında şirketin özel lisans koşulları geçerli; dağıtım hazır bir sohbet asistanı olarak sunulmuyor.
Yapay Zekâ··Akşam
Baidu, ön eğitim sonunda elde ettiği modeli yayımladı
Teknoloji şirketi Baidu, ERNIE 5.5 Flash Base modelinin ağırlıklarını 5 Kasım’da erişime açtı. Geliştiriciler bu temel sürümü kendi alanlarına uyarlayabiliyor, yönergelere göre ince ayar yapabiliyor ve pekiştirmeli öğrenme araştırmalarında kullanabiliyor. Baidu’nun ön eğitimin sonunda elde ettiği model, ara eğitimden ve sonraki eğitim aşamalarından geçirilmeden dağıtılıyor. Şirket, ek eğitim uygulanmış Flash sürümünü daha sonra yayımlamayı planlıyor.[1], [2]
Uzman bileşenleri işi paylaşıyor
Uzman karışımı adı verilen mimaride, yönlendirme bileşeni her belirteci hangi uzman parçaların işleyeceğini seçiyor. Toplam 280 milyar parametrenin 14 milyarı her belirteçte etkinleşiyor. Baidu, 512 yönlendirilmiş uzman arasından 10’unun ortak bir uzmanla birlikte seçildiğini belirtiyor. Dikkat katmanlarının çoğu belirteç gruplarını sıkıştırıyor; düzenli aralıklardaki diğer katmanlar ise önceki girdinin daha ayrıntılı temsiline erişimi koruyor.[1]
Uyarlamada özel lisans geçerli
Baidu’ya göre ön eğitimde 33,5 trilyon belirteç kullanıldı. Kod verileri arasında depolar, kod değişiklikleri, sorun tartışmaları ve testler bulunuyor. Belgeler, dil modellerini çalıştırmakta kullanılan SGLang ve vLLM yazılımlarıyla hizmet sunma yollarını açıklıyor. Model ağırlıklarında ERNIE 5.5 Flash Model License v1.0 koşulları geçerli. Geliştiriciler, temel model üzerinde yapacakları ek çalışmaları bu özel lisans çerçevesinde sürdürebiliyor.[1]
