Yeni bir ön baskı, dil modelinin metin üretirken harcadığı grafik işlemci enerjisini açıklıyor. Hesap, istekler arasında paylaşılan model ağırlıklarını her isteğin büyüyen konuşma geçmişinden ve çıktı üretim süresinden ayırıyor. Ölçüm yalnızca çıktı üretimi sırasında kartların kullandığı enerjiyi kapsıyor. Modelin yüklenmesi, girdinin ilk işlenmesi ve tesisin geri kalanının elektriği bu sınırın dışında kalıyor.
Araştırmacılar, bir dil modelinin metin üretirken kullandığı enerjiyi hesaplamak için bir yöntem önerdi. Tek bir ön baskıya dayanan Token-Energy Law çalışması, birkaç isteğin ortak kullandığı model ağırlıklarını okumakla her isteğin ayrı tutulan konuşma geçmişini işlemeyi ayırıyor. Yararlı çıktı üretmek için geçen süre de hesaba katılıyor.[1]
Deneyler, NVIDIA grafik işlemcilerinde çalışan yoğun dil modellerini kapsıyor. Enerji ölçümü model yüklendikten ve ilk girdi işlendikten sonra başlıyor. Modelin bir kopyası birkaç kartta çalıştığında kartların tüketimi toplanıyor; üretilen çıktı bir kez sayılıyor. Kartların boşta harcadığı enerji toplamdan çıkarılmıyor. Sunucunun ana işlemcileri, ağ donanımı ve binanın diğer elektrik gereksinimleri hesap dışında tutuluyor.[1]
Yazarlar, katsayıları model, donanım, çalışma yazılımı ve güç politikasının oluşturduğu her düzen için ayarlıyor. Hesabı ayarlamakta kullandıkları koşulları, doğrulama koşullarından ayırıyor; istekler tamamlanıp ortak gruptan ayrıldığında olanları da sınayarak paylaşımın değişmesini izliyorlar. Ölçümlerle bildirilen uyumda, gerçekleşmiş süre kullanılıyor. Çalışma başlamadan enerji tahmini yapmak için ayrıca doğrulanmış bir süre tahmini gerekiyor. İstekleri farklı uzmanlara yönlendiren modeller için yoğun modelin katsayılarını doğrudan kullanmak yeterli sayılmıyor.[1]
