Bağlam katkısını ölçen yöntem, istem parçalarını çıkarmanın etkisini hesaplıyor
Bir ön baskı, istemdeki her parçanın sabit bir yanıtı nasıl etkilediğini, bütün silme denemelerini ayrı ayrı çalıştırmadan yaklaşık hesaplamayı öneriyor. Yöntem iki türev hesabını birleştiriyor ve belirsiz etkileri doğrudan ölçüyor. Küçük bir dil modeli deneyi hesaplamayı gösterirken kuramsal hata sınırı, modelin bu değişikliklere verdiği yanıtla ilgili bir kararlılık varsayımına dayanıyor.
Yapay Zekâ··Gece
Ölçüm için yanıt sabit tutuluyor
Bağlam katkısını ölçmeye yönelik yeni ön baskı, istem parçaları çıkarıldığında önceden seçilmiş bir yanıtın modeldeki olasılığının nasıl değiştiğini hesaplıyor. Gösterimde Llama-3.2-1B-Instruct modeline on iki bağlam parçası veriliyor; yanıt yedinci parçada, ilgisiz bilgiler diğerlerinde yer alıyor. Araştırmacılar üretilmiş yanıtı sabit tutarak belirteçlerinin logaritmik olasılıkları toplamını ölçüyor. Böylece her çıkarma işleminde yeniden yanıt üretmek yerine, aynı yanıt için belirlenen sayısal ölçünün bağlam değişikliğine verdiği karşılık inceleniyor. Deney, katkıyı bu ölçü üzerinden tanımlıyor.[1]
Türev hesabı çok sayıda silmeyi yaklaşık ölçüyor
Yöntem, geriye türev hesabıyla oluşturulmuş devreye ileriye türev uyguluyor. Rastlantısal izdüşümler, tek tek silme işlemlerinin etkisini yaklaşık hesaplarken yalnızca ileriye türeve dayanan yaklaşıma göre örnekleme değişkenliğini azaltıyor. Belirsizliği yüksek bulunan etkiler doğrudan da ölçülebiliyor. Kuramsal hata sınırı, yüksek dereceli Taylor katsayılarının küçülmesine ilişkin bir kararlılık koşuluna dayanıyor. Yazarlar örneklemeden doğan belirsizliği, açılımın kesilmesiyle gelen hatadan ve gözlemlerin bir bölümünün çıkarılmasının etkisinden ayrı ele alıyor. Bu ayrım hesaplamanın hata hesabına yön veriyor.[1]
Küçük deneyler yaklaşık hesabın davranışını sınıyor
Sayısal uygulamada 128 bağımsız deneme yapılıyor ve her birinde sekiz izdüşüm kullanılıyor. En küçük ve en büyük gözlem çıkarılıp kalan altısının ortalaması alınıyor; hesaplar 64 bit duyarlılıkla yürütülüyor. Her deneme bir H100 grafik işlemcisi ve JAX hesaplama yazılımını kullanıyor. Yazarlar bu küçük gösterimi bir kavram sınaması olarak nitelendiriyor; bu ölçekte bütün silmeleri tek tek hesaplamanın daha hızlı olabileceğini belirtiyor. Deneyde katsayıların küçülmesi, yöntemin dayandığı kararlılık varsayımıyla uyumlu bulundu.[1]