Aleph Alpha, Almanca ve İngilizceye odaklanan Kolibri dil modelinin ağırlıklarını yayımladı. Model, araç çağırmayı ve seçilebilir akıl yürütme düzeylerini destekliyor. Ağırlıklar ve yapılandırma Apache 2.0 koşullarıyla kullanılabiliyor; eğitim verileri ve temel eğitim kodu bu lisansın dışında kalıyor. Geliştiriciler, karmaşık işler için üst bağlam sınırından daha kısa girdiler öneriyor. Modelin çalıştırma örneği, şirketin özel çıkarım eklentisini de içeriyor.
Aleph Alpha, Almanca ve İngilizceye odaklanan açık ağırlıklı Kolibri dil modelini 3 Ekim’de Apache 2.0 koşullarıyla yayımladı. Ağırlıklar, makine öğrenmesi modellerinin dağıtıldığı Hugging Face platformundan edinilebiliyor. Modelin dil kapsamı Almanca ve İngilizceye odaklanıyor.[1], [2]
Model, dış araçları çağırmayı ve açık bir akıl yürütme kipini destekliyor. Uzman karışımı mimarisi, dil modelinin işlediği küçük metin birimleri olan her belirteç için modelin seçilmiş bir bölümünü etkinleştiriyor. Aleph Alpha, akıl yürütmeyi kapatma ile düşük, orta ve yüksek düzeyler arasında seçim sunuyor. Uygulamalar, modelin ne ölçüde akıl yürüteceğini bu ayarlarla belirleyebiliyor.[1]
Geliştiriciler, sunum verimliliği ve karmaşık görevler için üst bağlam sınırının altında girdiler öneriyor. Bağlam, modelin bir seferde üzerinde çalışabildiği metni ifade ediyor. Uzun bağlam genişletmesi ayrı bir eğitim aşamasından geçti; iki dil için bilgi kesim tarihi on sekiz haziran. Dış araçlar, daha yeni bilgiye ulaşmak için ayrı bir yol sağlıyor.[1]
Çalıştırma örneği, dil modellerini sunmaya yarayan vLLM yazılımını Aleph Alpha’nın çıkarım eklentisiyle birleştiriyor. Ağırlıklar, daha düşük hassasiyetli FP8 biçiminde saklanıyor; bazı bileşenler bfloat16 hassasiyetini koruyor. Apache 2.0 koşulları, yayımlanan ağırlıkları ve yapılandırma dosyalarını kapsıyor. Eğitim verileri, temel eğitim kodu ve bunlarla bağlantılı haklar model lisansının dışında kalıyor. Ön eğitimde İngilizce, Almanca ve kodu bir araya getiren süzülmüş iki dilli derlem kullanıldı; sonraki eğitim, açık veri kümeleriyle yapay olarak üretilen içeriği birleştirdi.[1]
