Yerel çıkarım için Setapp erişimi ve llamafile paketleri
MacPaw ve Liquid AI, yerel çıkarımı Setapp geliştiricilerine açmayı planlarken Mozilla.ai, llamafile v0.10.5 içinde konuşma çözümleme ikilileriyle iki yerel model yapılandırmasını yayın dosyaları olarak sunuyor.
Yapay Zekâ··Akşam
Setapp için planlanan yerel çıkarım yolu
MacPaw, kendi ürünleri için yerel olarak çalışan modeller üzerinde Liquid AI ile birlikte çalışıyor ve bu olanağı 150000'den fazla ücretli kullanıcısı olan Setapp'te uygulama yayımlayan geliştiricilere açmayı planlıyor. Şirket ayrıca Eney yardımcısının yerel olarak çalışan bir sürümünü hazırlıyor. Liquid AI bu çalışma için Elix adlı cihaz üstü çıkarım düzenini yerel bir bellek bileşeniyle sağlıyor; modeller kullanılacak donanıma göre uyarlanıyor. MacPaw üst yöneticisi Oleksandr Kosovan, yerel modellerin yardımcılar ile aracı iş akışlarını çevrimdışı çalıştırabileceğini söylüyor. Liquid AI üst yöneticisi Ramin Hasani çalışmayı, modellerin veriyi kullanıp gelişebildiği bir uyarlama katmanı olarak anlatıyor. Setapp ise görevin karmaşıklığına göre kredi düşen bir fiyatlandırmayı deniyor. Haber, geliştiriciler için çıkış tarihi, fiyatlandırma veya desteklenen cihaz listesi vermiyor. Duyurulan yol, mağaza üzerinden geliştirici erişimi planını ve bunun dayandığı yerel çıkarım bileşenlerini tanımlıyor; hangi aygıtlarda, ne zaman ve hangi ücretle kullanılacağı henüz açıklanmış değil.[1]
llamafile sürümündeki hazır dosyalar
Mozilla.ai'nin llamafile v0.10.5 sürümü, yerel kullanım için farklı bir dağıtım biçimi sunuyor. Sürüm, iki hafta içinde tamamlanan üç llama.cpp eşitlemesini izliyor ve önceden derlenmiş transcribefile konuşma çözümleme ikililerini yayın dosyalarına ekliyor. Belgeler; yardım düzenini, yayın ikilileri arasındaki farkları ve Vulkan arka ucu dâhil grafik işlemcisi desteğini daha geniş biçimde anlatıyor. Sürüm notları iki model yapılandırmasını da öne çıkarıyor. Ternary Bonsai 27B, ağırlık başına 1,58 bit kullanan üçlü ağırlıklara sıkıştırılmış Qwen3.6-27B modeli; diskte yaklaşık 6 GB yer kaplıyor ve isteğe bağlı görüntü kulesiyle çok kipli çalışıyor. Laguna-S-2.1, poolside'ın 118B büyüklüğündeki uzman karışımı kodlama modeli; belirteç başına 8B etkin parametre çalıştırıyor ve bu pakette 256K bağlam penceresi için ayarlanıyor. Mozilla.ai, yeterli belleğe sahip tüketici donanımında iki yapılandırmanın da kullanılabilir hızda çalıştığını söylüyor. Bu ifadeyi destekleyen iş hacmi veya gecikme ölçümü yayımlanmamış. transcribefile dosyaları ile belge çalışmasında topluluk katkıları da anılıyor.[2]
Kapsam ve teslim aşamasındaki ayrım
İki haberin kapsamları ve teslim aşamaları farklı. MacPaw ile Liquid AI'nin yolu, henüz tarihi ve geliştirici fiyatlaması açıklanmayan bir Setapp olanağı; Mozilla.ai'nin yolu ise yayımlanmış bir llamafile sürümü. İlkinde yerel çıkarım, MacPaw ürünleri için hazırlanan Eney, Elix ve yerel bellek bileşeninden Setapp geliştiricilerine doğru genişletilmek isteniyor. llamafile sürümünde dağıtım; hazır konuşma çözümleme ikilileri, grafik işlemcisi belgeleri ve iki adlandırılmış model yapılandırmasıyla yapılıyor. Ürünler farklı model ailelerini ve görevleri kapsıyor. Ortak payda, geliştiricilerin yerel donanımda çıkarım çalıştırabilmesi için paketleme ve erişim yolları oluşturulması. Setapp planının takvimi, fiyatı ve cihaz kapsamı açıklanmadı; Mozilla.ai'nin kullanılabilir hız ifadesini değerlendirecek iş hacmi veya gecikme ölçümü de yok. Biri planlanan mağaza erişimini, diğeri mevcut sürüm dosyalarını temsil ediyor; iki haber yerel çıkarımın geliştiricilere ulaştırılması için somut ve ayrı kanallar tanımlıyor.[1], [2]
