Arama komutuyla fatura arasındaki fark

Bir kodlama eylemcisine ilgili dosyalardan seçilmiş parçaları işin başında verelim. Eylemcinin işlem günlüğünde daha az arama görünmesi beklenir. Zerui Yang ve çalışma arkadaşlarının ön baskısındaki ana deneylerde okuma ve arama komutları yüzde 18–34 azaldı. Önbellekli girdinin fiyatı yeni girdinin onda biri olduğunda, aynı görevlerin hesaplanan maliyeti yüzde 33–42 yükseldi. Çözülen görev oranında ölçülebilir bir artış bulunmadı.[1]

Geliştirici paketi bir kez hazırlıyor. Kod, istemde kaldığı sürece sonraki model çağrılarında da girdiye dahil. İstemin başı değişmeden kaldığında önbellek bu bölümün yeniden kullanımını ucuzlatıyor. Arama komutundan kazanılan iş ile istemde yinelenen girdinin ücreti böylece farklı yönlere gidebiliyor. Uzun aramaları ortadan kaldıran bir kod paketinin daha pahalı kalması bu yüzden mümkün.[1]

Eski araç çıktılarını istemden eksiltmek de aynı fiyat koşuluna bağlıydı. Önbellek indirimi uygulanmadığında bu deneylerde yüzde 19–36 tasarruf hesaplandı. Önbellekli girdinin fiyatı onda bire indiğinde maliyet yüzde 38–116 arttı. Araştırmacılar, bazı dosya okumalarının ve aramaların eski çıktı gizlendikten sonra yeniden yapıldığını gözlemledi.[1]

Bir çözümün maliyetini ölçmek

Eylemcinin bağlamını düzenleyen bir ekip, aynı model ve görevlerle iki çalışma düzenini karşılaştırabilir. Birinde eylemci kendi dosya aramalarına bırakılır. Diğerinde ilgili kod baştan verilir veya eski çıktılar ayıklanır. Çözülen her görev için kaç yeni girdi ve önbellekli girdi belirtecinin fiyatlandığına, modelin ne kadar çıktı ürettiğine ve hangi aramaları yeniden yaptığına bakarım. Her iki yama da testleri geçtiğinde, geliştiricinin incelemeye harcadığı süreyi ayrıca ölçerim.[1]

Bir ayrıntı karşılaştırmayı kolayca bozuyor. Yazarlar, eş zamanlı deneylerin aynı istem başlangıcını önbellekten kullanabildiğini buldu. Bir çalışma ötekinin önbelleğini hazırladığında, iki düzenin giderini doğrudan yan yana koymak yanıltıcı olabiliyor. Hangi girdinin hangi çalıştırmada önbellekten geldiğini ayrı tutmak bu nedenle ölçümün parçası.[1]

Ben bağlam düzenini eylemcide değiştirilebilir tutmayı tercih ederim. Görev çözme oranı yerinde kalıyorsa, ilgili kodu peşinen yükleme kararı kullanılan modelin önbellek fiyatına ve eylemcinin aynı dosyaları ne sıklıkta açtığına bağlı. Sağlayıcı fiyatı veya görevlerin niteliği değiştiğinde ekip aynı karşılaştırmayı yeniden yapabilir. Hedefim, incelemeye hazır bir çözümü daha az harcamayla elde etmek.[1]