OVHcloud, Olala mini ağırlıklarını 19 Kasım’da paylaşacak
Fransız bulut şirketi OVHcloud, ilk dil modeli ailesini Olala mini ile başlatacağını duyurdu. Model ağırlıkları ve ilgili belgelerin 19 Kasım’da Apache 2.0 lisansıyla paylaşılması bekleniyor. Eğitimde Avrupa’daki kamu süper bilgisayarlarından yararlanıldı. Qwant arama motoru modeli kısa yanıtlar üretmek için kullanıyor. Şirket daha uzun metinleri işleyebilen ve işletmelere yönelik görevler üstlenen sürümler de planlıyor.
Yapay Zekâ··Akşam
Gerektikçe etkinleşen bileşenlerle küçük model
Bulut hizmetleri şirketi OVHcloud, ilk dil modeli ailesinin ilk üyesi Olala mini 7A1B’yi 17 Kasım’da duyurdu. Eğitimde öğrenilen sayısal değerler olan değiştirgelerin toplamı 7 milyar; bir istek için bunların 1 milyarı etkinleşiyor. Planlanan Apache 2.0 dağıtımı, indirilebilir model ağırlıklarını da kapsıyor. Resmi açılış için 19 Kasım belirtiliyor.[1], [2]
Her katmanda 256 uzman bileşen bulunuyor ve bir istekte modelin yalnızca bir bölümü devreye giriyor. Modelde tek seferde işlenebilen metni belirleyen başlangıç bağlam penceresi, belirteç adı verilen otuz iki bin metin biriminden oluşuyor. OVHcloud, melez dikkat yapısında Differential-TPA ile Mamba-3 adlı iki yöntemi birleştiriyor.[1]
Kamu süper bilgisayarları eğitim kapasitesi sağladı
Eğitim, Avrupa’daki üç kamu süper bilgisayarı Jupiter, MeluXina ve Jean Zay üzerinde yapıldı. OVHcloud, kamu desteğiyle sağlanan hesaplama saatlerinin karşılığını 7 milyon avro olarak açıkladı. Qwant arama motoru da Olala mini’yi kısa yanıt özelliğinde kullanmaya başladı. Şirket, ağırlıklarla birlikte önceden eğitilmiş temel modeli ve teknik raporu Hugging Face model paylaşım platformunda sunmayı planlıyor. Dağıtıma Avrupa Birliği Yapay Zekâ Yasası’yla ilgili uyum belgeleri de eklenecek.[1]
Sonraki sürümler uzun metinleri ve iş görevlerini hedefliyor
Yıl sonundan önce planlanan 1.1 sürümünde bağlam penceresinin yüz yirmi sekiz bin belirtece çıkarılması ve matematiksel akıl yürütmenin geliştirilmesi amaçlanıyor. OVHcloud’un daha sonraki 2.0 planları, işletmelerin görev yürüten yapay zekâ eylemcilerini, bulut işletimini ve siber güvenliği kapsıyor. Şirket ayrıca çalışma alanı yazılımının şifrelenmiş sürümünde yerel modeller kullanmayı hedefliyor. Böylece işlemler doğrudan iş istasyonunda yapılabilecek. Bunlar model ailesi için açıklanmış geliştirme planları.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.