Paylaşılan ağırlık, ayrı geçmiş
Aynı grafik işlemci, aynı model ve daha uzun konuşma: çıktı başına enerji büyüyebilir. Token-Energy Law ön baskısı bunu iki ayrı bellek işiyle açıklıyor. Model ağırlıkları, bir çıktı adımını birlikte yürüten istekler arasında paylaşılıyor. Her isteğin önceki metnini temsil eden anahtar-değer belleği ise kendisine ait. Daha büyük istek grubu ortak ağırlık maliyetini daha çok çıktıya dağıtırken, uzayan geçmiş her çıktı için okunacak özel belleği artırıyor. Hizmet işletmecisinin elindeki iki ayar farklı yönlere çekiyor.[1]
Üçüncü girdi süre. Yararlı çıktı başına geçen zaman uzadığında kartlar aynı işi daha uzun süre taşıyor. Ön baskıdaki model, ağırlık erişimi ve geçmiş belleğinin yanına gerçekleşen süreyi koyuyor. Dolayısıyla tek başına işlemci gücünü veya bellek miktarını büyütmek, çıktı başına enerji hakkında hüküm vermeye yetmiyor. İşin ne kadarının paylaşıldığı ve ne hızla tamamlandığı birlikte değişiyor. Buradaki payda, kullanılan kart sayısı değil, gerçekten üretilen çıktı.[1]
Karttan tesise geçerken
Bu hesabın fiziksel sınırı açık: ölçülen enerji grafik işlemci kartlarına ait. Model yükleme ve girdinin ilk işlenmesi dışarıda bırakılıyor; boşta enerji toplamdan çıkarılmıyor. İki kart birlikte çalışıyorsa enerjileri toplanıyor, ortak çıktı bir kez sayılıyor. Sunucunun merkezi işlemcisi, ağ donanımı ve tesis soğutması bu sınırın dışında. İşletmeci bu sonucu elektrik faturası bütçesine taşırken o bileşenlerin tüketimini ayrıca eklemek zorunda.[1]
Qwen ve Mistral modellerinin Hopper ile Blackwell üzerindeki denemelerinde aynı denklem biçimi kullanılıyor, fakat her model ve çalışma düzeni kendi katsayılarını alıyor. Çıktı süresi de deneyden geliyor. Bu ayrım satın alma kararını daraltıyor: ön baskı, yeni bir donanımın her hizmette aynı katsayılarla hesaplanabileceğini vaat etmiyor. Yazılımın yürütme politikası, sayısal hassasiyet veya kartlar arasındaki iş paylaşımı değiştiğinde yeniden ölçülecek düzen de değişiyor.[1]
Hizmetin enerji hesabı
İşletme açısından çıkarım şu: donanım karşılaştırmasının yanına servis düzenini koymak gerekiyor. Daha çok isteği birlikte çalıştırmak ortak bellek işini dağıtabilir; müşterinin gecikme beklentisi bu gruplamanın sınırını belirler. Uzun geçmişi korumak da bellek işini büyütür. Uygulamanın geçmiş ihtiyacı değişmeden yalnızca kartı değiştirmek ile aynı kartta servis yazılımını değiştirmek farklı müdahaleler. Enerji tasarrufunu bunların hangisinin sağladığı, ortak iş yüküyle ölçüldüğünde anlaşılır.[1]
Çıktı başına joule düşse bile toplam tüketimin yönü için bir sayı daha gerekiyor: hizmetin ürettiği toplam çıktı. Verim kazancı aynı hacimde elektrik ihtiyacını azaltır; daha çok kullanım bu kazancın bir kısmını veya tamamını tüketebilir. Alternatif olarak trafik sabit kalabilir ve tasarruf korunabilir. Bu nedenle kart düzeyindeki enerji modeli, işletmeciye yararlı bir hesap birimi veriyor. Tesisin kapasite planı ise bu birimi gerçek trafik ve kart dışındaki yüklerle tamamlamak zorunda.[1]