TensorRT Edge-LLM, Thor eylemcı kıyasını 6.4 kat hızlı bitirdi

NVIDIA, TensorRT Edge-LLM'nin MLPerf Inference v6.1 Edge Agentic iş yükünde Qwen3.6-27B'yi tek Jetson AGX Thor'da koşturduğunu yazıyor. AI Daily Post, llama.cpp'nin 2 saat 37 dakikasına karşı 24 dakika 36 saniye, 6.4 kat, 1,007 turda 52.33 tok/sn rakamlarını tekrarlıyor. Süreler iki hesapta da var.

Yapay Zekâ·17 Eylül 2026·Akşam

17:41 TSİ

Tek Thor'da 24 dakika 36 saniye

NVIDIA geliştirici günlüğü, TensorRT Edge-LLM'nin MLPerf Inference v6.1 Edge Agentic kıyasını Jetson AGX Thor'da 6.4 kat hızlı bitirdiğini yazıyor. Brian Petersen editörlüğündeki 16 Eylül tarihli AI Daily Post, TensorRT koşusunu tek Jetson AGX Thor Developer Kit'te 24 dakika 36 saniye, aynı donanım ve aynı Qwen3.6-27B modelinde llama.cpp referansını 2 saat 37 dakika sayıyor. Bunu 6.4 kat fark diye adlandırıyor. 24 dakika ve 2 saat 37 dakika baskıları AI Daily Post metninde; NVIDIA havuz başlığı bu saatleri tekrarlamadan 6.4 kat Thor sonucunu adlandırıyor.^{[1], [2]}

1,007 tur, saniyede 52.33 token

AI Daily Post, sistemin iş yükündeki 1,007 turun tümünde saniyede 52.33 token koştuğunu yazıyor. Edge Agentic'in tek bir istem-yanıt çiftini skorlamak yerine yazılım mühendisliği eylemcı izlerini yeniden oynattığını; 20 konuşma, 1,007 tur, girdinin kabaca 23,5K tokene çıktığını söylüyor. NVIDIA'nın 16 Eylül günlüğü bu rakamların eşlik ettiği birinci taraf MLPerf yazısı. 20 konuşma şekli AI Daily Post'un basdığı iş yükü.^{[1], [2]}

Aynı kit, iki yığın

AI Daily Post, 6.4 kat karşılaştırmanın aynı donanım ve aynı Qwen3.6-27B modelinde olduğunu vurguluyor. NVIDIA, TensorRT Edge-LLM Thor gönderimini daha hızlı yığın diye sunuyor. Burada kullanılan metinlerin hiçbiri o laboratuvar SingleStream sonucunu robot veya araç dağıtım iddiasına çevirmiyor.^{[1], [2]}

Tek Thor'da 24 dakika 36 saniye

1,007 tur, saniyede 52.33 token

Aynı kit, iki yığın

Kaynakça

Aynı masadan diğer analizler