Eigen RadarYapay Zekâ
Arşiv
Analiz

llm-d 1.0, ortak yapay zekâ altyapısına öncelik ve kesintisiz güncelleme denetimleri getiriyor

llm-d projesi, aynı altyapıyı paylaşan iş yüklerini, hizmet güncellemelerini ve uzun eylemci oturumlarını yönetmeye dönük 1.0 sürümünü yayımladı. Dağıtık çıkarım yazılımı, öncelik ve adalet gözeten akış denetimi, yedek yönlendirici ve kararlı bir yapılandırma arayüzü sunuyor. Önceden bulunan önbellek ve dağıtık işletim yöntemlerine eklenen bu yetenekler, ilk kurulumdan sonraki gündelik hizmet yönetimine odaklanıyor.

Yapay Zekâ··Sabah
Hayali çıkarım tesisinde kalabalık ve seyrek taşıyıcı hatları, bakım için açılmış bir işlem biriminin yanından geçiyor.

Ortak hizmete öncelik ve adalet denetimleri geliyor

llm-d projesi, büyük dil modellerini ortak altyapıda işletmeye dönük denetimler ekleyen 1.0 sürümünü 20 Ekim’de yayımladı. Yazılım, eğitilmiş bir modelin yanıt üretmesi olan çıkarımı farklı bilgi işlem kaynakları arasında yönetiyor. Yeni akış denetimleri, etkileşimli istekler ile görev yürüten eylemci yapay zekâların aniden artan işleri aynı kaynaklara yöneldiğinde öncelik ve adalet gözetiyor.[1], [2]

Red Hat, IBM, Google Cloud, CoreWeave ve NVIDIA projeyi 2025’te kurdu. Proje artık bulut ortamına yönelik yazılım projelerini destekleyen Cloud Native Computing Foundation bünyesinde yönetiliyor. Yeni sürüm, ilk kurulumun ardından hizmetin işletilmesine odaklanıyor. Aynı işlemci havuzundaki işlerin farklı yanıt süresi gereksinimleri de bu kapsamda ele alınıyor.[1]

Yedek yönlendiriciler bakım ve güncellemeyi destekliyor

Yönlendirici yedekliliği, sıcak yedek ve aşamalı güncellemeler, bakım sırasında istek trafiğinin sürmesini destekliyor. İstemin ön işlemesini ve yanıtın belirteç üretimini yapan kopyalar tek mantıksal birim olarak yönetilebiliyor. Böylece sürüm geçişleri eşgüdümlü yürütülüyor. Sürüm ayrıca kararlı v1 yapılandırma uygulama programlama arayüzü (API) ve sağlamlaştırılmış bir istek yolu sunuyor.[1]

Konuşmalar önbellekteki bağlama yakın tutuluyor

Oturuma duyarlı yönlendirme, çok turlu konuşmaları önbellekteki bağlamlarına yakın tutuyor. Tur önceliklendirmesi ve yerel Responses API durum desteği de eylemci işlerine yönelik yetenekler arasında. Projede önbelleğe ve yüke duyarlı yönlendirme, önbelleği başka depolama alanlarına aktarma, ön işlemeyle üretimi ayırma ve toplu ya da eşzamansız çıkarım zaten bulunuyordu. Desteklenen model sunucuları arasında vLLM ve SGLang var. Bu önceki yetenekler, 1.0 sürümünün yeni işletim denetimleriyle birlikte kullanılabiliyor.[1]

Kaynakça

  1. Haber kaynağıRed Hatllm-d 1.0, ortak GPU havuzunda öncelik ve kesintisiz güncelleme denetimleri ekledi↩1↩2↩3↩4
  2. Haber kaynağıSiliconANGLEllm-d 1.0, şirket altyapısında model işletmek için denetimler ekliyor↩
YZ güvenliği ve regülasyonÇip savaşları ve tedarik zinciriSınır modeli yarışı

Aynı masadan diğer analizler

Yapay Zekâ masasındaki tüm Gündem analizlerini görüntüle →