Olla, Anthropic uyumlu trafiği ortak istek sınırlarına bağlıyor
Olla, Anthropic uyumlu istekleri diğer vekil sunucu yollarıyla aynı hız sınırlarına bağladı. Aynı ağ adresini kullanan oturumlar ortak kotadan yararlanıyor; bu durum eşzamanlı eylemcileri ve otomatik işleri etkileyebiliyor. Güncelleme, isteklerin çift sayılmasını ve sunucu hatalarının başarı olarak görünmesini de düzeltiyor. Mevcut kurulumların ürettiği ölçümler, yükseltmenin ardından bu düzeltmeler nedeniyle değişebiliyor.
Yapay Zekâ··Gece
İstekler ağ adresinin kotasını paylaşıyor
Dil modeli isteklerini yerel ve uzak sunuculara dağıtan vekil yazılım Olla, hız denetimlerinin kapsamını genişletti. Projenin 1 Kasım açıklamasına göre, Anthropic uyumlu ileti gönderme, belirteç sayma ve model listeleme yolları da diğer vekil sunucu yollarının sınırlarına bağlandı. Bu yollar her internet protokolü adresi için ortak kota kullanıyor. Aynı ağ çıkışını paylaşan eşzamanlı eylemci oturumları ve otomatik işler bu nedenle hız sınırına takılabiliyor.[1]
Bir sınırı kapatmak diğerini kaldırmıyor
Varsayılan ayarda adres başına dakikada 100 istek, ani yükler için 50 istek ve bütün trafik için dakikada 1.000 istek sınırı bulunuyor. Adrese özgü sınırı sıfıra indirmek genel sınırı kaldırmıyor; genel denetimin ayrıca kapatılması gerekiyor. Olla, yanıttan herhangi bir bölüm istemciye ulaştıktan sonra yeniden denemeyi de durduruyor. Böylece kısmen gönderilmiş bir isteğin başka arka uç sunucusunda yeniden yürütülmesinin önüne geçiliyor.[1]
İstek toplamları ve hata ölçümleri değişiyor
Önceki sürümde model adı içeren isteklerin iki kez sayılması düzeltiliyor. Her arka uç denemesi bir istek olarak sayılıyor; sunucu hataları başarı hanesi yerine başarısızlık hanesine yazılıyor. Bu düzeltmeler yükseltmeden sonra toplamları, başarı oranlarını, hata sayılarını ve bunlara bağlı uyarıları etkiliyor. Yapılandırma denetimi ise sunucuyu çalıştırmadan ayarları, model tanımlarını ve sağlayıcı profillerini inceleyebiliyor; doğrulama başarısız olursa işlem de başarısız sonuç veriyor.[1]
