TensorRT 11.0, tek modeli birden çok GPU'ya yayıyor
NVIDIA, TensorRT 11.0'ın çoklu cihaz desteğini Dynamo-Triton 26.07'ye ekleyerek dağıtık bir modeli tek uç nokta arkasında sunuyor. Şirketin Cosmos 3 Nano denemesinde 189 karelik video üretimi, 1 GPU'da 157 saniyeden 8 GPU'da 34 saniyeye indi; model yükleme ve kodlama dışarıda bırakıldı. AI Brainer aynı bütünleşmeyi doğruluyor; eşzamanlı istek verimi ve toplam sahiplik gideri ölçülmedi.
Yapay Zekâ··Öğle
Tek model uç noktası artık birden çok GPU’yu yönetiyor
NVIDIA, TensorRT 11.0’ın çoklu cihaz çıkarımını Dynamo-Triton 26.07 sunum platformuna ekledi. Dağıtık bir TensorRT planı artık birden çok grafik işlem birimi (GPU) üzerinde çalışırken uygulama tek uç noktadan tek adlı model görüyor. Dynamo-Triton, katılan her sıra için yürütme bağlamını, akışı ve iletişim kaynaklarını kuruyor. AI Brainer da aynı bütünleşmeyi ve temel değişikliği bağımsız olarak aktarıyor: İstemcinin GPU sıralarını kendisinin eşgüdümlemesi gerekmiyor.[1], [2]
Cosmos denemesinde bir video çalışması 157 saniyeden 34 saniyeye indi
NVIDIA, bütünleşmeyi Cosmos 3 Nano video üretimiyle gösterdi. Şirket denemesinde 189 karelik video 1 GPU’da 157 saniyede, 8 GPU’da ise 34 saniyede üretildi. Yapılandırmalarda aynı 8 GPU’lu sistem kullanıldı; bir ısınma çalışmasını 5 ölçümlü çalışma izledi. Dağıtık plan video dizisini katılan cihazlara bölerken çevredeki işlem hattı komutları, zamanlamayı, kod çözmeyi ve son video işlemesini yürütmeye devam etti.[1]
Deneme verim ile toplam sahiplik giderini açık bırakıyor
Süreye model yükleme ile video kodlama katılmadı; ölçüm eşzamanlı istek akışı yerine tek isteği kapsadı. NVIDIA, örneğin eşzamanlı yük altındaki verimi veya toplam sahiplik giderini ölçmediğini belirtiyor. AI Brainer çoklu GPU bütünleşmesini doğruluyor ancak bağımsız başarım sınaması eklemiyor. Yayımlanan sonuç böylece NVIDIA’nın belirttiği Cosmos yapılandırmasında daha düşük gecikme gösteriyor; platformun karma üretim trafiğinde nasıl davrandığını veya daha çok GPU’nun tamamlanan istek başına gideri düşürüp düşürmediğini ortaya koymuyor.[1], [2]
