NVIDIA, TensorRT Edge-LLM kullanarak DGX Spark üzerinde yapay zekâ uygulaması geliştirmeye yönelik yerel bir çalışma akışı açıkladı. Geliştiriciler bir metin modelini terminalde sınayabiliyor ve OpenAI uyumlu yerel programlama arayüzünden sunabiliyor. Çalıştırma yazılımı, geliştirme ortamıyla desteklenen gömülü platformları birbirine bağlıyor. Yayımlanan örnek, üretim ortamına kurulmuş bir hizmetten çok uygulama prototipi geliştirmeye ve sınamaya odaklanıyor.
NVIDIA, geliştirme bilgisayarı DGX Spark üzerinde gömülü yapay zekâ uygulamaları hazırlamaya yönelik bir çalışma akışı yayımladı. Şirketin gömülü iş yükleri için hazırladığı C++ tabanlı model çalıştırma yazılımı TensorRT Edge-LLM, trtedge komut satırı aracıyla seçilen modeli indiriyor ve çıkarım için TensorRT motorunu hazırlıyor. Örnekte, Nemotron 3.5 Lightning adlı metin modeliyle doğrudan terminal üzerinden yanıtlar sınanıyor.[1], [2]
Aynı düzenek, modeli OpenAI’ın programlama arayüzüyle uyumlu yerel bir arayüzden sunabiliyor. Geliştirilmekte olan uygulama, bu yerel sunucuya istek gönderip yanıtı parça parça alabiliyor. Uyumlu motorlar daha sonraki çalıştırmalarda yeniden kullanılmak üzere önbellekte saklanıyor. Açıklanan işlem sırası, motorun hazırlanmasını, sunucunun hazır olduğunun denetlenmesini ve bir sınama isteğinin gönderilmesini kapsıyor. Modelle uygulama arasındaki bağlantı geliştirme bilgisayarında sınanabiliyor.[1]
NVIDIA, çalıştırma yazılımını Spark üzerindeki geliştirme aşamasından desteklenen Jetson Thor, DRIVE AGX Thor ve IGX Thor platformlarına kurulum aşamasına uzanan bir yapı olarak tanımlıyor. Son hedefte modele özgü gereksinimlerin karşılanması da isteniyor. Gösterilen yerel sunucu, uygulama prototipi hazırlamak ve sınamak için kullanılıyor. Desteklenen başka bir cihaza geçerken o modelin ve platformun gereksinimlerinin de karşılanması gerekiyor.[1]
