Aynı kartın daha kısa işi

Aynı grafik işlemciden daha çok tahmin almak isteyen bir ekip için katman atlamak çekici: yeni donanım beklemeden bazı hesapları yapmamak mümkün. Chronos-Bolt ve TimesFM deneyinde bunun ölçülmüş bir karşılığı var. A100 üzerinde tek örneğin işlenme süresi, Chronos’ta 32,32 milisaniyeden 28,71 milisaniyeye; TimesFM’de 61,68 milisaniyeden 53,40 milisaniyeye iniyor. Fakat bu hızın satın aldığı hizmeti, tahmin hatasını da aynı satıra yazarak tanımlamak gerekiyor.[1]

Deneyin sınırı somut. Giriş 512 adım, tahmin 64 adım; işlem tek örnekle ve aynı A100 üzerinde yapılıyor. Chronos’un 11 aday bloğundan 7’si, TimesFM’nin 20 bloğundan 16’sı çalışır durumda bırakılıyor. Ağırlıklar bellekte kalıyor. Dolayısıyla eldeki ölçüm, daha az hesapla kısalan bekleme süresine ait. Belleği dar bir makineye daha büyük model sığdırma sonucu vermiyor; elektrik faturası da ölçülmüş değil. İşletmeci bu deneyi mevcut kartının gecikme hesabına koyabilir, tesisin toplam enerji hesabına doğrudan taşıyamaz.[1]

Kalite, kapasitenin paydasında

Ortalama kalite değişiminin küçük görünmesi, her müşterinin benzer sonuç aldığı anlamına gelmiyor. Traffic verisinde hata Chronos için yüzde 14,49, TimesFM için yüzde 8,15 artıyor. Weather verisinde ise sırasıyla yüzde 22,09 ve yüzde 8,29 azalıyor. Trafik tahmini isteyen kullanıcıyla hava verisi işleyen kullanıcı aynı hız düzenini farklı bedelle alıyor. Benim burada işletme hesabına koyduğum payda, tamamlanan tahmin sayısından önce kabul edilen hata düzeyindeki tahmin sayısı. Bu sınır değişince aynı kartın yararlı kapasitesi de değişiyor.[1]

Katmanların hangilerinin bırakıldığı da bu hesabın parçası. Araştırmacı seçimleri küçük bir ayarlama kümesinde yapıyor, sonra ayrı 1.088 pencere üzerinde sınama yapıyor. Bu ayrım aynı sonuçlara bakıp hem düzen seçme hem başarı ilan etme sorununu azaltıyor. Yine de veri alanına özel seçilen düzenler başka alanlara güvenilir biçimde taşınmıyor. Hız kazancının işe dönüşmesi için müşterinin verisiyle yapılacak ayarlama gerekebilir. Başka olasılık da açık: görülen yararın bir kısmı, seçilen veri kümelerinin özelliklerine bağlı olabilir ve yeni müşterinin işinde daha küçük kalabilir.[1]

Seçim süresi de hesaba giriyor

Her pencere için en iyi düzeni sonradan seçebilmek, tek sabit düzenden daha iyi sonuç veriyor. Ama bu seçim doğru cevabı ve hatayı gördükten sonra yapılıyor. Canlı hizmette ekip, hangi düzeni kullanacağını o sonucu bilmeden seçmek zorunda. Çalışmada görülmemiş veri alanlarına güvenilir seçim yapılamaması, yazılımın önündeki somut işi tarif ediyor: ucuz bir yönlendirme kararı. Bu karar ek süre tüketirse katman atlayarak kazanılan milisaniyelerin bir kısmını geri alabilir.[1]

Bu ön baskının donanım alıcısına verdiği olanak, elindeki kartta iş yüküne göre daha az hesap yapmayı denemek. En kullanışlı sonraki ölçüm, müşterinin kabul ettiği hata sınırı korunarak seçim süresi dahil toplam gecikmenin verilmesi olur. O noktada aynı kartın daha çok işe yarar tahmin üretip üretmediği anlaşılır. Daha fazla çip gereksiniminin azalacağı sonucunu şimdiden çıkarmıyorum: hızlanan hizmet daha çok kullanılırsa toplam hesaplama talebi artabilir. Bugünkü mühendislik kazanımı, aynı donanım üzerinde ölçülmüş bir süre farkı; hizmet kapasitesi ise o farkın kalite ve yönlendirme gideriyle birlikte değerlendirilmesinde belirleniyor.[1]