Decision Index, yapay zekânın karar puanına güven düzeyini de kattı
Artificial Analysis, Decision Index değerlendirmesini yenileyerek doğru cevabın yanında modelin seçimine duyduğu güveni de puanlamaya başladı. Belge testinde bütün yanıtların doğru olması gerekiyor; başka bir test aynı anlamdaki farklı sorularda tutarlılığı ölçüyor. Özel veri kümelerinin ağırlığı artırıldı. Puanlama ve testlerin değişmesi, yeni sonuçların önceki sürümle karşılaştırılmasında kullanılan temeli de değiştiriyor. Değerlendirme, sabit seçenekler arasından karar veren modelleri kapsıyor.
Yapay Zekâ··Gece
Güven düzeyi karar puanını değiştiriyor
Yapay zekâ modellerini değerlendiren Artificial Analysis, sabit seçenekler arasında karar veren modeller için Decision Index v2’yi 9 Kasım’da duyurdu. Yeni Decision Score, cevabın doğruluğuyla modelin seçtiği cevaba verdiği olasılığı birlikte puanlıyor. Doğru cevaba duyulan yüksek güven puanı artırırken yanlış cevaba duyulan güven sonucu düşürüyor. Sorular sıfır ile yüz arasında puan alıyor; doğru yanıtlar 50’nin üstünde, yanlış yanıtlar 50’nin altında yer alıyor.[1], [2]
Belge görevlerinde bütün yanıtlar aranıyor
Yeni AA-Paperclip testi, endeksin yüzde 30’unu oluşturuyor. Özgeçmiş, fiş, fatura ve yapay zekâ araştırma makalelerinden oluşan 1.500 belge içeriyor. Modeller her belgeden bilgi çıkarıp karar sorularını yanıtlıyor. Bir belgenin başarılı sayılması için 15 yanıtın tamamının doğru olması gerekiyor. Yüzde 15 ağırlıklı AA-Symmetry ise aynı anlamı koruyan farklı soru biçimlerinde olasılıkların tutarlılığını 120 soruyla denetliyor. Seçeneklerin sırası ve etiketleri değiştiriliyor; evet-hayır sorularının olumsuz biçimleri de kullanılıyor.[1]
Özel verilerin ağırlığı artıyor
Özel veri kümelerinin endeksteki ağırlığı yüzde 25’ten yüzde 45’e çıktı. Artificial Analysis’in doygunluğa ulaştığını belirttiği WildGuardTest çıkarıldı. AA-Omniscience-Decision ve HLE-MultiChoice testlerinin ağırlığı ayrı ayrı yüzde 15, When2Call’un ağırlığı yüzde 10 oldu. Formülün yanı sıra testlerin ve ağırlıklarının da değişmesiyle ikinci sürüm, önceki sürümden farklı bir ölçüm temeline geçti.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
