DBDM, dil modellerindeki yanlılık düzeltmelerini ağ boyunca eşgüdümlüyor
DBDM adlı yöntem, dağıtık dil modellerinde yerel yanlılık düzeltmesini ağ çapındaki izlemeyle birleştiriyor. Kontrollü deneylerde FedAvg yöntemine göre bileşik yanlılık ölçüsü ve düğümler arasındaki değişkenlik azaldı; ek haberleşme gideri ortaya çıktı. Benzetimlere küçük bir modelle yapılan uygulama denemesi eşlik etti. Gecikme, gizlilik ve eşzamansız çalışma, daha geniş kullanım için araştırılması gereken konular arasında.
Yapay Zekâ··Gece
Yerel düzeltmeler ağdaki yanlılığı izliyor
K. J. Sahana Devi’nin de bulunduğu araştırma ekibi, ağ düğümlerine dağıtılmış dil modelleri için DBDM adlı yanlılık saptama ve azaltma yöntemini geliştirdi. Her düğümün çok boyutlu durumu, istatistiksel ayrışmayı, metnin sayısal temsilleri arasındaki farklılıkları ve yanıtlardaki dengesizliği kapsıyor. Yerel eniyileştirme bu durumu kullanıyor. Düğümlerdeki düzeltmeler, graf temelli yayılma ve ortak karara ulaşma düzeneğiyle ağ boyunca birbirine bağlanıyor.[1]
Kontrollü sınamalarda düğümler arası fark azaldı
Ekip, dil modellerindeki yanlılığı değerlendiren StereoSet, CrowS-Pairs ve BOLD veri kümeleriyle dağıtık benzetimler yaptı. Dağıtık model güncellemelerini ortalayan FedAvg yöntemine karşı 10 çalışma yürütüldü. Bileşik yanlılık ölçüsü yüzde 48,5, düğümler arasındaki değişkenlik yüzde 87,4 azaldı. Kullanılan deney koşullarında, adillik sonuçları FairFL ile istatistiksel açıdan karşılaştırılabilir düzeydeydi.[1]
Düzeltmeler ek haberleşme gerektiriyor
Benzetimlerin yanında, makine öğrenmesi yazılımı PyTorch içindeki küçük bir TransformerEncoder modeliyle CrowS-Pairs üzerinde uygulama denemesi yapıldı. Düzeltmelerin eşgüdümü yüzde 8,3 ile yüzde 8,8 arasında ek haberleşme yükü getirdi. Daha geniş kullanım konusunda araştırmacılar gecikmenin, eşzamansız çalışmanın, gizlilik sınırlarının ve düğümlerin farklı özelliklerinin araştırılması gerektiğini belirtti. Değerlendirme kontrollü düzeneklerle sınırlı; ticari dil modellerinin üretim ölçeğindeki ağı üzerinde yapılmış bir sınama sunmuyor.[1]
