DeepSeek, DeepSeek-V4.1-Flash modelini çevrimdışı çalıştıran DeepInfer motorunu Apache 2.0 lisansıyla yayımladı. Kod; iş zamanlaması, paralel hesaplama ve belirli yapılara uyan çıktılar üretme desteğini içeriyor. Çevrimiçi hizmet kuran geliştiricilerin önbellek ve istek yönetimi altyapısını ayrıca sağlaması gerekiyor. Paylaşım, hesaplama motorunu açarken uygulamalardan gelen isteklere yanıt vermek için gereken ek işleri de tanımlıyor.
Dil modelleri geliştiren DeepSeek, DeepInfer’ı 20 Ekim’de Apache 2.0 lisansıyla yayımladı. Açık kaynaklı motor, DeepSeek-V4.1-Flash modelini destekliyor. Model girdilerini yanıta dönüştüren hesaplama sürecini, yani çıkarımı çevrimdışı yürütüyor. Kullanıcı isteklerine yanıt veren tam çevrimiçi hizmet için ek bileşenler gerekiyor. Paylaşım, hesaplama motorunun kodunu çevresindeki hizmet altyapısından ayrı olarak sunuyor.[1], [2]
Motor, dikkat hesaplamalarında veri ve bağlam paralelliğini, uzman karışımı modellerde ise uzman paralelliğini kullanıyor. Uzmanlar arasında yük dengeleme bu yapının parçaları arasında. Eşzamansız işlemci zamanlaması, iş planlamasını grafik işlemci hesaplamasıyla örtüştürüyor. Taslak üretip doğrulayan DSpark düzeneği ise önerilen çıktı belirteçlerinin hangilerinin doğrulanacağını güven kestirimleriyle düzenliyor.[1]
DeepInfer, şemalar, düzenli ifadeler ve dilbilgisi kurallarıyla çıktı yapısını sınırlayabiliyor. Belgelenen donanım yolları NVIDIA SM100 ve Ascend 950’yi içeriyor. Paylaşımda anahtar-değer önbellek sistemi, istemin ilk işlenmesi ile sonraki üretimin hizmet düzeyinde ayrılması ve hizmet kopyaları arasında yük dengeleme bulunmuyor. Çevrimiçi hizmeti kuranların, motorun çevresindeki bu katmanları ayrıca sağlaması gerekiyor. Kurulum için Linux, Python 3.12 ve seçilen donanıma uygun yazılım araçları isteniyor.[1]
