Amazon araştırmacılarının yöntemi, aynı istemi, eğitim soyağacını ya da model ailesini paylaşan hakemlerin ilişkili hatalarını hesaba katıyor; üç görevde ağırlıklı çoğunluk oyunu geçti. Goodfire'ın genel erişime açtığı Silico ise bir modelin ağırlıklarını, etkinleşmelerini ve dikkat örüntülerini inceleyen deneyleri doğal dildeki bir sorudan kurup koşut olarak çalıştırıyor.
Yapay Zekâ··Gece
Uzlaşma bağımsız kanıt olmayabilir
Amazon Science araştırmacıları, birden çok modelin verdiği aynı hükmün oy sayısı kadar bağımsız kanıt taşımayabileceğini söylüyor. Aynı istem örneklerini, eğitim soyağacını ya da model ailesini paylaşan hakemler, aynı kör noktada birlikte yanılabiliyor. Önerilen birleştirme yöntemi bu nedenle hakemleri yalnızca tek tek güvenilirlik puanlarıyla tartmıyor; ikili bağımlılıklarını da bir Ising modeliyle öğreniyor. İnsanların hazırladığı referans etiketler eğitimde kullanılmıyor, yalnızca deney başarımını sonradan ölçüyor.[1]
Oyların ilişkisi de ölçülüyor
Yöntem; ilgililik sınıflandırması, zararlı içerik saptaması ve özet değerlendirmesinde denendi. Bağımlılığı hesaba katan sürümler, üç görevde de geçmiş doğruluğa göre ağırlıklandırılmış çoğunluk oyunu geçti. Değerlendirme günlüklerindeki uyuşma ve ayrışma örüntüleri, hangi hakemlerin birbirini yinelediğini ya da hangi görevde ortak bir kör nokta oluştuğunu görünür kılabiliyor. Ekipler bu ayrımı, yeni bir hakemin gerçekten başka kanıt getirip getirmediğini veya paneldeki yanlılığı çoğaltıp çoğaltmadığını sınamak için kullanabiliyor.[1]
Silico ağırlıkların içine bakıyor
Goodfire'ın genel erişime açtığı Silico, değerlendirmeyi model çıktısından modelin içine taşıyor. Kullanıcı, modelin ne zaman ve neden uydurma ürettiği gibi bir soruyu doğal dille veriyor; platform seyrek otokodlayıcılar ve sondalarla yapılacak deneyleri planlayıp ağırlıklar, etkinleşmeler ve dikkat örüntüleri üzerinde koşut olarak yürütüyor. IEEE Spectrum'a göre Prima Mente bu araçlarla, Alzheimer saptama modelinin ekip tarafından daha önce bilinmeyen DNA parça uzunluğu örüntülerine yaslandığını buldu. Bu bulgu şimdilik şirketlerin aktardığı bir kullanım örneği.[2]
