Ayush Pande, Intel Arc ekran kartında dil modeli çalıştırmanın farklı yollarını denedi ve Vulkan tabanlı llama.cpp kurulumunu seçti. Kendi makinesinde Ollama’ya göre daha hızlı çıktı aldığını bildirdi. Diğer iki kurulumdan biri çöktü, diğeri yavaş çalıştı. Kişisel deneyim, bellek ayarlarını ve görsel girdiyi de ele alıyor; çözülemeyen kurulum sorunları karşılaştırmanın kapsamını sınırlıyor.
Donanım yazarı Ayush Pande, kendi Intel Arc A750 ekran kartında dil modellerini yerel olarak çalıştıran llama.cpp yazılımını, Vulkan grafik arayüzüyle kullanmayı seçti. 7 Kasım tarihli kişisel denemesinde bu kurulumu Ollama ve Intel’e yönelik iki seçenekle karşılaştırdı. Aynı Gemma modelinde Vulkan ile saniyede yaklaşık 33, Ollama ile 19–22 çıktı belirteci ürettiğini bildirdi. Belirteçler, modelin işlediği metin birimlerini ifade ediyor.[1]
Karşılaştırma, eski bir ev sunucusunda birbirinden ayrılmış yazılım kapsayıcılarında yapıldı; her ortam ekran kartına erişebiliyordu. Intel’in OpenVINO çalışma ortamını derleyebilen Pande, modelleri çalıştırmaya geldiğinde çökmeler yaşadı. Diğer hesaplama seçeneği SYCL ise yavaş çalıştı. Yeniden derleme de sorunu çözmedi. Pande, bu yavaşlığın temel sorununu bulamadı; kendi kurulumundaki arızalar, karşılaştırmanın başka sistemlere taşınabilecek sonuçlarını sınırlıyor.[1]
Pande, dikkat hesaplamasını ve küçük bir işlem diliminde ele alınan iş miktarını da ayarladı. Daha büyük işlem dilimini hafif modellerle sınırladı; büyük modeller kullanılabilir belleği tüketebiliyordu. Ayrı bir görsel bileşenle modele görüntü girdisi de verebildi. Bu ekran kartıyla çalıştırdığı yerel işler arasında ev otomasyonu ve belge hizmetleri bulunuyordu. Yazar, Vulkan seçimini kendi donanımında kullanabildiği seçenekler arasından yaptı.[1]
