LiteLLM, istek denetimini ve kişisel veri korumasını güçlendirdi
LiteLLM’in kararlı sürümü, dil modellerine erişimi yöneten ağ geçidinin denetimlerini genişletiyor. Proje, Redis hız sınırı sayaçlarına erişilemediğinde isteği reddeden bir seçenek, özel denetim kodunun iç ağ hedeflerine ulaşmasını engelleyen değişiklikler ve ek kişisel veri korumaları açıklıyor. Bu işlevler kurulum ayarlarına bağlı. Sürümde bulunmaları, her kurulumda etkin oldukları ya da aynı korumayı sağladıkları anlamına gelmiyor.
Yapay Zekâ··Öğle
Ağ geçidi, sayaçlara erişemediğinde isteği reddedebiliyor
Uygulamaları dil modeli sağlayıcılarına bağlayan ağ geçidi LiteLLM, 1.105.0 sürümünü 11 Ekim’de kararlı olarak yayımladı. Geliştiriciler, istek sınırlarını uygulamak için kullanılan Redis sayaçlarına erişilemediğinde isteği reddeden bir seçenek ekledi. Kimlik doğrulama önbelleğinin geçersiz kılınması da Redis Cluster düğümlerine yayılıyor. Rust tarafına yapılandırma, yönlendirme ve ağ geçidi bileşenleri eklenirken, kimlik bilgisi devralma işlemleri ön denetim aşamasında ele alınıyor.[1]
Güvenlik denetimi kodunun iç ağa erişimi sınırlandırılıyor
Model isteğinin çevresinde çalışan özel güvenlik denetimleri için yürütme sınırları daraltılıyor. Bu kod iç ağdaki hedeflere HTTP isteği gönderemiyor; yürütme için süre sınırı da uygulanıyor. Model çağrısından önceki denetimler, vektör deposundan getirilen metin parçalarını da tarayabiliyor. MCP araçları için sonuçları uyumluluğu gözeterek dönüştürme, protokol sürümünü ayarlama ve kullanılabilir yetenekleri bulma değişiklikleri var. Projenin açıkladığı işlevlerin kullanımı yapılandırmaya bağlı.[1]
Hata ve izleme çıktılarında istek verisi azaltılıyor
İzleme hizmeti Sentry’ye giden nesne gösterimleri ve iç içe yerel değişkenlerden kişisel veriler ile gizli bilgiler ayıklanıyor. Varsayılan kişisel verinin gönderilmesi için kullanıcı onayı gerekiyor. İleti günlüğü kapalı olduğunda ham istek gizleniyor; doğrulama hataları gönderilen istek gövdesini içermiyor. Yanıtın eksik kalan akışı başarısız sayılıyor, istek zaman aşımı uygulanıyor ve çıktı başlamadan başka sağlayıcıya geçilebiliyor. Bedrock’tan gelen boş olay akışı, boş yanıt yerine hatayla sonuçlanıyor.[1]
