Eigen RadarYapay Zekâ
Analiz

Bağlam katkısını ölçen yöntem, istem parçalarını çıkarmanın etkisini hesaplıyor

Bir ön baskı, istemdeki her parçanın sabit bir yanıtı nasıl etkilediğini, bütün silme denemelerini ayrı ayrı çalıştırmadan yaklaşık hesaplamayı öneriyor. Yöntem iki türev hesabını birleştiriyor ve belirsiz etkileri doğrudan ölçüyor. Küçük bir dil modeli deneyi hesaplamayı gösterirken kuramsal hata sınırı, modelin bu değişikliklere verdiği yanıtla ilgili bir kararlılık varsayımına dayanıyor.

Yapay Zekâ··Gece
Boş bir bilgisayar araştırma odasında beyaz tahtada on iki kartlık bir sıra; yedincisi turuncu, ikisi çıkarılıp tahtanın rafına bırakılmış. Önde bir masa ve tek ekran kartlı bir iş istasyonu.

Ölçüm için yanıt sabit tutuluyor

Bağlam katkısını ölçmeye yönelik yeni ön baskı, istem parçaları çıkarıldığında önceden seçilmiş bir yanıtın modeldeki olasılığının nasıl değiştiğini hesaplıyor. Gösterimde Llama-3.2-1B-Instruct modeline on iki bağlam parçası veriliyor; yanıt yedinci parçada, ilgisiz bilgiler diğerlerinde yer alıyor. Araştırmacılar üretilmiş yanıtı sabit tutarak belirteçlerinin logaritmik olasılıkları toplamını ölçüyor. Böylece her çıkarma işleminde yeniden yanıt üretmek yerine, aynı yanıt için belirlenen sayısal ölçünün bağlam değişikliğine verdiği karşılık inceleniyor. Deney, katkıyı bu ölçü üzerinden tanımlıyor.[1]

Türev hesabı çok sayıda silmeyi yaklaşık ölçüyor

Yöntem, geriye türev hesabıyla oluşturulmuş devreye ileriye türev uyguluyor. Rastlantısal izdüşümler, tek tek silme işlemlerinin etkisini yaklaşık hesaplarken yalnızca ileriye türeve dayanan yaklaşıma göre örnekleme değişkenliğini azaltıyor. Belirsizliği yüksek bulunan etkiler doğrudan da ölçülebiliyor. Kuramsal hata sınırı, yüksek dereceli Taylor katsayılarının küçülmesine ilişkin bir kararlılık koşuluna dayanıyor. Yazarlar örneklemeden doğan belirsizliği, açılımın kesilmesiyle gelen hatadan ve gözlemlerin bir bölümünün çıkarılmasının etkisinden ayrı ele alıyor. Bu ayrım hesaplamanın hata hesabına yön veriyor.[1]

Küçük deneyler yaklaşık hesabın davranışını sınıyor

Sayısal uygulamada 128 bağımsız deneme yapılıyor ve her birinde sekiz izdüşüm kullanılıyor. En küçük ve en büyük gözlem çıkarılıp kalan altısının ortalaması alınıyor; hesaplar 64 bit duyarlılıkla yürütülüyor. Her deneme bir H100 grafik işlemcisi ve JAX hesaplama yazılımını kullanıyor. Yazarlar bu küçük gösterimi bir kavram sınaması olarak nitelendiriyor; bu ölçekte bütün silmeleri tek tek hesaplamanın daha hızlı olabileceğini belirtiyor. Deneyde katsayıların küçülmesi, yöntemin dayandığı kararlılık varsayımıyla uyumlu bulundu.[1]

Kaynakça

  1. Haber kaynağıarXivBağlam katkısını ölçen yöntem, silme deneylerini yaklaşık hesaplıyor↩1↩2↩3