10,4 kattan 3,3 kata
Aynı iki modelin enerji farkı, ölçümün çalışma düzeni değişince 10,4 kattan 3,3 kata iniyor. Ericsson Research ekibinin bağlantı devri tahminini inceleyen ön baskısında LightGBM ile CNN-1D arasındaki karşılaştırma böyle değişiyor. İlk sayı, çıkarımların arka arkaya çalıştırıldığı döngüden; ikincisi, boşta bekleme aralıkları içeren düzenden geliyor. Model mimarileri aynı. Değişen, işlemcinin çalışmadığı aralığın enerji hesabına nasıl girdiği.[1]
Ucuz çalışan modelin hesabında bu fark daha görünür. Çıkarımı erken bitirmek, bir sonraki ölçüm gelene kadar işlemcinin bütün enerji tüketimini ortadan kaldırmıyor. Benim bu karşılaştırmadan çıkardığım satın alma ölçütü, tamamlanan iş ile bekleme aralığını aynı çalışma düzeninde değerlendirmek. Aralıksız deneme, modelin yoğun yükteki giderini gösteriyor; dönemsel görevin enerji bütçesi ise boşta kalan süreyi de içeriyor. Birim başına tasarruf, işin ne sıklıkta çağrıldığına bağlı. Farklı bir boşta güç düzeyi veya daha ince enerji ölçümü de oranın büyüklüğünü değiştirebilir.[1]
Hesabın diğer sınırı, modele girmeden önceki iş. Araştırmada LightGBM’nin özellik hazırlaması, toplam orta gecikmenin yaklaşık yüzde 44’ü. Yalnızca model yürütme süresini saymak, veriyi modele hazırlayan işlemleri dışarıda bırakıyor. Enerji ve gecikme karşılaştırmasına ön işlem, model ve son işlem birlikte dâhil edilmiş. Ucuz model seçiminin anlamı, bu hazırlık gideri ödendikten sonra kalan avantajda; yalnızca küçük bir model dosyasında değil.[1]
40 ms sınırının içindeki donanım
Görevin saati 40 ms: Hücresel ağ ölçümleri bu aralıkla geliyor. Araştırmacılar ortalama süre yerine gecikmenin 99. yüzdelik dilimini kullanıyor. Sınanan sunucuda sekiz modelin tamamı bu süre sınırının altında. LightGBM için bildirilen F1 0,974, CNN-1D için 0,914. Dolayısıyla bu deneyde sinir ağı gecikme yüzünden elenmiyor; ağaç modeli hem bildirilen doğrulukta hem enerji tahmininde öne çıkıyor. Telefon üzerinde geç kalmış bir çıkarım gösterilmiş değil.[1]
Donanım sınırı da açık: Deney, 36 çekirdekli Xeon sunucu işlemcisinde yapılıyor. Enerji, donanım sayaçlarından okunmak yerine işlemci kullanımından 50 ms örnekleme aralığıyla tahmin ediliyor. Veri de Santa Clara’daki tek bir kent sahnesinin simülasyonu. Bu koşullardaki 3,3 katı doğrudan telefon pil ömrüne çevirmiyorum. Telefonun işlemcisi, boşta çalışma davranışı ve farklı hareket örüntüleri aynı oranı taşımak zorunda değil. Ekip zaten mutlak enerji değerlerinin tahmin olduğunu belirtiyor.[1]
Benim için işletim kararı, bu iki sınırı birlikte taşıyor: Özellik hazırlığı hesaba katılıyor, boşta bekleme de enerji bütçesinde kalıyor. Çalışmanın kısa dizisi ve basit bağlantı devri kuralı ağaç modeline elverişli; daha uzun veya farklı bir görev aynı mimari seçimini gerektirmiyor. Hedef aygıtta aynı görev, aynı çağrı aralığı ve aynı işlem zinciriyle yapılan karşılaştırma, tasarrufun nereden geldiğini anlaşılır kılıyor. Donanım seçiminin paydası, bu işin gerçek çalışma düzeni.[1]