Eigen RadarYapay Zekâ
Analiz

XYBench, yapay zekâ yanıtlarının kullanıcının asıl amacına yönelmesini ölçüyor

Ai2, kullanıcının istediği yöntemle ulaşmak istediği amacı birbirinden ayıran XYBench değerlendirmesini yayımladı. Uygulamaya dönük sorularda modeller, yararlı bir alternatif sunsa da yanıtın ağırlığını her zaman bu çözüme vermedi. İngilizce değerlendirme; çözümün bulunmasını, yanıtın vurgusunu ve yanlış varsayımın tanınmasını ayrı ölçüyor. Sorular, internet forumlarından ve yapay olarak üretilen örneklerden geliyor.

Yapay Zekâ··Gece
Aydınlık bir mutfak tezgâhında tel ızgaralarda soğumaya bırakılmış kremasız kekler; arkada dokunulmamış bir kase koyu krema bekliyor. XYBench’in örneği: asıl çözüm kremayı koyulaştırmak değil, keki soğutmak.

İstenen yöntem amaçtan uzaklaşabiliyor

Yapay zekâ araştırma kuruluşu Ai2, yanlış varsayımlarla sorulan soruları inceleyen XYBench’i 13 Kasım’da duyurdu. Değerlendirme, kişinin istediği yöntemle ulaşmak istediği amacı birbirinden ayırıyor. Örneklerden birinde kullanıcı kekin üzerindeki kaplamayı koyulaştırmak istiyor; oysa asıl sorunu giderecek çözüm kekin soğuması.[1], [2]

Ai2, değerlendirmede 8.115 soru bulunduğunu belirtiyor. Bunlar Stack Overflow ve Stack Exchange forumlarından alınan soruları, elle hazırlanan örnekleri ve WikiHow kılavuzlarından üretilen soruları kapsıyor. Yüksek oy alan ve kabul edilen forum yanıtları, amaçlanan çözümün belirlenmesinde kullanıldı. Araştırmanın ön baskısı duyurudan önce, 6 Eylül’de yayımlandı.[1]

Yararlı çözüm her zaman öne çıkmıyor

Yanıt üretme değerlendirmesinde beş model yanıt oluşturdu. Stack Overflow sorularında asıl amaca yönelik çözüm, yanıtların yüzde 59–71’inde yer aldı; yanıtın ağırlığını bu amaca verme oranı ise yüzde 35–41 oldu. Çözümün bulunması, vurgu ve yanlış varsayımın tanınması ayrı puanlanıyor. Altı modelin katıldığı ayrı çoktan seçmeli sınamada amaca yönelik yanıt yüzde 71–84 oranında seçildi.[1], [2]

İnsan değerlendiriciler 500 yanıtı inceledi

İki insan değerlendirici, otomatik yargıç olarak kullanılan Sonnet 4.5 ile karşılaştırmak üzere 500 yanıtı inceledi. Bildirilen uyum, çözümün bulunmasında daha yüksek, yanıtın vurgusunda daha düşüktü. Bu uyum oranları puanlama sürecini anlatıyor. Veri kümesi İngilizce, çoğunlukla uygulamaya dönük soruları ve her soruya tek yanıt verilen bir düzeni kapsıyor. WikiHow soruları yapay olarak üretildi; uzun konuşmalar ve başka dillerdeki başarım bu değerlendirmede sınanmadı.[1]

Kaynakça

  1. Haber kaynağıAi2 / Hugging FaceAi2, yanlış varsayımlara verilen yanıtları ölçen XYBench’i yayımladı↩1↩2↩3↩4
  2. Haber kaynağıCASRAIXYBench yardımcıların yanlış varsayımları fark etmesini ölçüyor↩1↩2