Together Compiler, çalışan motorlarda yapay zekâ çıkarımını yeniden ayarlıyor
Together AI, model, donanım ve istek trafiği değiştikçe çıkarımı sürekli ayarlayan Together Compiler sistemini tanıttı. Yapay zekâ eylemcilerinin geliştirdiği hesaplama yöntemleri, her denemede yeniden başlatma yerine çalışmayı sürdüren çıkarım motorlarında sınanıyor. Şirket, sistemi kendi hizmetlerinde kullandığını bildiriyor ve müşterilerine sınırlı bir deneme programı üzerinden erken erişim olanağı sunuyor; genel kullanıma açıldığını duyurmuyor.
Yapay Zekâ··Öğle
Together, müşterilere sınırlı deneme erişimi sunuyor
Yapay zekâ altyapısı sağlayan Together AI, değişen iş yüklerine uyarlanan çıkarım yaklaşımının bir uygulaması olarak Together Compiler’ı 4 Kasım’da tanıttı. Şirket, sistemi kendi üretim ortamındaki çıkarım işlerinde ve bazı sunucusuz hizmet noktalarında kullandığını bildiriyor. Müşteriler, sınırlı bir deneme programına erken erişim başvurusu yapabiliyor. Sistem, modelin yanıt üretme hesaplamalarını donanıma ve gelen isteklerin değişen yapısına göre ayarlamak için yazılım eylemcilerinden yararlanıyor.[1], [2]
Eylemciler yeni yöntemleri çalışan motorlarda sınıyor
Together Compiler, her denemede çıkarım motorunu yeniden başlatmak yerine motoru bellekte tutuyor ve önerilen hesaplamaları çalışırken yüklüyor. Birden fazla eylemci aynı anda seçenek geliştiriyor; ortak bir ileti alanından çalışmalarını eşgüdümlüyor. Böylece başka eylemciler düşünürken veya araç kullanırken de sınanacak yeni öneriler hazırlanıyor. Yöntemlerin seçilmesinde model ve donanımın yanı sıra istek trafiğinin biçimi de girdi olarak kullanılıyor. Denemeler, bu çalışma koşullarına göre yürütülüyor.[1]
Ölçüm, az sayıda katmandan gerçekçi iş yüküne geçiyor
Derleyici, önerileri hızlı denemek için modelin az sayıda katmanını yükleyen motorlar kullanıyor. Daha fazla katman yükleyen yavaş motorlar ise yöntemin gerçekçi veri dağılımlarında da işe yarayıp yaramadığını sınıyor. Ayrı bir gider modeli, donanım özelliklerini, küçük ölçekli testleri ve ölçülen hesaplamaları birleştirerek işin paralel dağıtım seçeneklerini daraltıyor. Together, değişen girdi uzunluklarının, yönlendirme davranışlarının ve ani istek artışlarının üretim ortamında sürekli ayarlamayı gerekli kıldığını belirtiyor.[1]
