Xinference 4.2, model önbelleğini paylaşıp kopyaları sırayla yeniliyor
Xinference geliştiricileri, uyumlu model kopyaları arasında işlenmiş girdilerin önbelleğini paylaşan ve kopyaları sırayla yenileyen bir sürüm yayımladı. Yöneticiler internet arayüzünden güncelleme yapabiliyor, çalışan modellere sınama gönderebiliyor. Tek sürüm belgesine dayanan gelişmede akıl yürütme çabası ve istek önceliği ayarları da yer alıyor. Kullanılabilen işlevler, seçilen motorun desteğine ve kurulum ayarlarına bağlı.
Yapay Zekâ··Sabah
Çalışan kopyalar sırayla yenileniyor
Makine öğrenmesi modellerini çalıştırıp kullanıma sunan açık kaynaklı Xinference sisteminin 4.2.0 sürümünde yöneticiler, yazılım güncellemelerini tarayıcı arayüzünden yönetebiliyor. Geliştiricilerin 7 Kasım tarihli tek sürüm belgesine göre önce işçi süreçleri, ardından gözetmen ve uygulama programlama arayüzü güncelleniyor. Desteklenen motorlarda model kopyaları tek tek yeniden başlatılıyor; sürmekte olan istekler, kendilerini işlemekte olan eski motor örneğinde tamamlanıyor. Bu sırada modelin ağırlıkları ekran kartının belleğinde tutulabiliyor.[1]
Araç beklenirken işlenmiş girdi korunuyor
Önbellek paylaşımını sağlayan Xavier bileşeni, eylemci yapay zekâ dışarıdaki bir araçtan yanıt beklerken önceden işlenmiş girdi öneklerini koruyabiliyor. Uyumlu kopyalar, aynı girdiyi yeniden işlemek yerine bu önbellekten yararlanabiliyor. Sürüm, bu düzeneğin depolama seçeneklerini genişletiyor ve farklı çıkarım motorları arasında paylaşımı destekliyor. Hangi birleşimlerin kullanılabileceği, çalışma ortamının uyumuna ve kurulum ayarlarına bağlı. Önbelleğin araç bekleme süresince tutulmasına öncelik verilebiliyor.[1]
Model sınamaları tarayıcıya taşınıyor
Çalışmakta olan sohbet modeline, eşzamanlı istek sayıları değiştirilerek sınamalar gönderilebiliyor. Arayüz, koşular arasındaki çıktı hızını ve yanıt sürelerini karşılaştırıyor; sonuçlar dışarı aktarılabiliyor. Uyumlu modellerde geliştiriciler, desteklenen arayüzler üzerinden akıl yürütme çabasını ve istek önceliğini ayarlayabiliyor. Bu denetimler model kopyalarının yönetimine eşlik ediyor. Kullanılabilir ayarları, kurulumda seçilen motor ve onun sürümü belirliyor.[1]
