Strata, eşzamanlı konuşmaları ve Codex için yerel bağlantıyı ekledi
Strata’nın 0.1.39 sürümü, bilgisayarda çalışan dil modeli motoruna eşzamanlı konuşmaları ve Codex CLI için Responses API üzerinden bağlantıyı ekledi. Belirlenen konuşma sınırına ulaşılınca yeni istekler bekliyor; her etkin konuşma, modelin uzman bileşenleri için ayrılan belleği azaltıyor. Denenen araç kullanma döngüsünde desteklenmeyen özellikler var. Deneysel donanım seçeneklerinin de test sınırları açıklanıyor. Bazı donanım yolları derleme kontrolünden geçmiş olsa da ilgili gerçek cihazlarda denenmemiş durumda.
Yapay Zekâ··Gece
Yerel konuşmalar birlikte çalışabiliyor
Strata’da yeni bir konuşmanın çalışması için önceki konuşmanın bitmesini beklemek gerekmiyor. LinuxCompatible, 0.1.39 sürümünün eşzamanlı konuşmaları eklediğini aktarıyor; 0.1.38 sürümü istekleri tek tek işliyordu. Belirlenen konuşma sınırına ulaşıldığında yeni istekler boş yer açılmasını bekliyor. Bunun bellek maliyeti var: her konuşma, modelin uzman bileşenlerinin saklandığı önbelleğe kalacak alanı azaltıyor. Bu nedenle eşzamanlı çalışma, uzman bileşenlerin çoğunun ekran kartı belleğine sığdığı düzenlerde öneriliyor. Yeni özellik, aynı bilgisayardaki konuşmaların bellek için birbiriyle yarışmasını ortadan kaldırmıyor.[1], [2]
Codex yerel modele bağlanabiliyor
Sürüm ayrıca Codex CLI’nin yerel modele bağlanmasını sağlayan Responses API adlı yazılım arayüzünü sunuyor. Araç çağırma döngüsü Codex 0.160.0 ile denenmiş. Ancak önceki yanıtların kimlikleri, hizmet tarafında barındırılan araçlar ve akıl yürütme özetleri desteklenmiyor. Yerel modeli bağlayan kullanıcı, uzak hizmetle ilişkilendirilen bütün özellikleri değil, arayüzün belirli bir bölümünü kullanabiliyor. Bu bağlantının varlığı ile her arayüz özelliğinin desteklenmesi farklı kapsamlar taşıyor.[1]
Donanım seçeneklerinin test sınırları var
Ek donanım seçeneklerinin bir bölümü deneysel durumda. LinuxCompatible, bazı eski ve deneysel seçeneklerin derlenip kontrol edildiğini, ancak ilgili gerçek cihazlarda denenmediğini belirtiyor. Birden çok ekran kartında uzman bileşenlerin aktarımını değiştiren ek iyileştirme de sayısal yuvarlamayı etkilediği için isteğe bağlı. Yerel kullanım seçenekleri genişlerken, geliştirilen her donanım yolunun aynı ölçüde sınandığı söylenmiyor.[1]
Uzun girdilerin işlenmesinde de değişiklik var. Sürüm notlarına göre motor, işleme parçasının büyüklüğünü otomatik seçiyor ve aktarılan uzman bileşenlerin alanını bayt üzerinden hesaplıyor. Uzman bileşenler farklı önbellek gruplarından geçtiğinde, uzun bir sorunun çıktısı 0.1.38 sürümündekinden farklı olabiliyor. Önceki davranışı geri getiren bir seçenek sunuluyor. Eski donanımlar için ek yollar da açıklanmış: Pascal ve Volta ailesindeki NVIDIA kartlarına CUDA 12.9 kullanan ayrı bir derleme ayrılıyor. Intel Arc yolu ise Linux üzerinde kaynak koddan derlemeyi gerektiriyor. Geliştirici, bu sürümü derlediğini ve işlem çekirdeği testlerini bir merkezi işlemci üzerinde çalıştırdığını söylüyor; ilgili Arc kartında bu sürüm denenmiş değil. AVX2 komutlarını desteklemeyen eski işlemciler için de kaynak koddan derleme yolu var. Bu seçeneklerde gerçek cihaz denemelerinin sınırları ayrıca belirtiliyor. Bu yetenekler ve kontroller geliştiricinin açıklamasına dayanıyor; Arc ve eski işlemci seçeneklerinde bu sürüme ilişkin gerçek cihaz denemeleri sınırlı kalıyor.[2], [1]
