MiTAC, yapay zekâda girdiyi işleme ve yanıt üretmeyi ayrı sunuculara bölüyor
Tayvanlı sunucu şirketi MiTAC Computing ile Skymizer, ABD’nin Chicago kentindeki SC26 konferansında yapay zekânın yanıt üretme işini iki sunucuya bölen bir tasarım sundu. Sunuculardan biri gelen girdiyi işlerken diğeri yanıtı oluşturuyor. Büyük modelleri kendi yerleşkesinde çalıştıran kuruluşlar için önerilen düzende iki aşama yüksek hızlı bir ağ üzerinden birbirine bağlanıyor.
Yapay Zekâ··Öğle
Chicago’da sunulan öneri
Tayvanlı sunucu üreticisi MiTAC Computing ile Skymizer, ABD’nin Chicago kentindeki SC26 konferansında yapay zekâ için iki sunuculu bir yanıt üretme tasarımı sundu. Eğitilmiş bir modelin isteği alıp yanıt hazırlamasına çıkarım deniyor. İki şirketin önerisi, gelen girdinin işlenmesiyle yanıtın oluşturulmasını ayrı sunuculara veriyor. Tasarım, büyük modelleri kendi yerleşkesinde çalıştıran kuruluşlara yönelik olarak sunuluyor. Sunucular, aynı isteğin farklı aşamalarını yerine getirmek üzere birbirine bağlanıyor.[1], [2]
İlk sunucu girdiyi hazırlıyor
İlk aşamada, ön işleme adı verilen adım girdiyi ele alıyor ve yoğun hesaplama gerektiriyor. MiTAC, bu iş için AMD işlemcileri ve hızlandırıcıları bulunan bir sunucu öneriyor. Ardından oluşan anahtar-değer önbelleği yüksek hızlı ağ üzerinden diğer sunucuya aktarılıyor. Bu önbellek, girdi işlenirken oluşan ve modelin aynı isteğe yanıt hazırlarken kullandığı bilgileri taşıyor. Böylece ilk aşamanın çıktısı, ikinci aşamada yanıtın adım adım oluşturulmasına aktarılıyor.[1]
İkinci sunucu yanıtı oluşturuyor
İkinci aşama, yanıtı adım adım oluşturuyor ve belleğe erişime yoğun biçimde dayanıyor. Önerilen ikinci sunucu, bu iş için Intel işlemcilerini Skymizer hızlandırıcılarıyla birleştiriyor. MiTAC, düzeni Kimi K3 gibi büyük modellerin kuruluş içinde çalıştırılmasına yönelik bir tasarım olarak sunuyor. Şirketin konferans açıklamasında işletim sistemi katmanı olarak Ubuntu, sistem izleme ve yönetimi için de MiCoreView yer alıyor. MiCoreView, sunucuların çalışma verilerini izleme ve yönetme görevini üstlenen araç olarak tanıtılıyor.[1]