Sorulan yöntem, amaçlanan çözüm

Kaplama kekin üzerinden kayıyor; kullanıcı daha koyu bir kaplama hazırlamanın yolunu soruyor. XYBench’in örneğinde çözüm, keki soğutmak. Daha koyu kaplama için doğru bir tarif vermek, kullanıcının seçtiği yönteme uygun olabilir; buna rağmen kekin üstünü kaplama amacı çözümsüz kalabilir. Bu küçük mutfak örneği, yapay zekâ değerlendirmesinde doğruluğun hangi soruya göre tanımlandığını değiştiriyor. Benim ilgimi çeken, modelin doğru bilgiyi bilmesinden sonra yaptığı seçim: Yanıtı kullanıcının yönteminin çevresinde mi kuruyor, yoksa o yöntemi gereksiz kılan koşulu mu açıklıyor?[1]

Ai2’nin 13 Kasım’da yayımladığı XYBench duyurusu ile 6 Eylül tarihli araştırma ön baskısı aynı çalışmaya dayanıyor; CASRAI, 14 Kasım’daki haberinde bu tarih ayrımını açıkça belirtiyor. Bu nedenle güncel gelişme, daha önce yazılmış bir yöntemin ve sonuçlarının duyurulması. Yöntem, bir yanıtın amaca yönelik çözüm içerip içermediğini, hangi çözümü öne çıkardığını ve yanlış varsayımı ele alıp almadığını ayrı inceliyor. Aynı yanıt hem istenen yöntem için bilgi hem daha uygun bir çözüm içerebiliyor. Çözümün metinde görünmesiyle yanıtın o çözüm etrafında kurulması böylece farklı değerlendirme sonuçları veriyor.[1], [2]

Araştırmacıların bildirdiği Stack Overflow sonuçlarında amaca yönelik çözüm, yanıtların yüzde 59–71’inde bulunuyor; yanıtın o amaca odaklanması yüzde 35–41 aralığında kalıyor. Bu aralıklar farklı modelleri kapsıyor ve aynı kişilerin sonradan ne yaptığını anlatmıyor. Yine de ölçüm tercihi somut bir fark yaratıyor: Yanıtın sonunda doğru bir seçeneğin bulunmasını yeterli sayan değerlendirme, o seçeneği geri plana iten açıklamayı başarılı sayabilir. XYBench’in katkısı, önerinin varlığından önerinin ağırlığına geçişi ölçülebilir kılması. Kullanıcının yanlış bir yöntemde ısrar ettiği sorularda, yanıtın düzeni de araştırılan davranışın parçası oluyor.[1]

Seçilen yanıt ile kurulan yanıt

Bu ayrım, yanıt seçme sınamasında daha da belirgin. Ayrı bir çoktan seçmeli değerlendirmede altı model, amaca yönelik yanıtı yüzde 71–84 oranında seçiyor. Ana sınamada ise beş model kendi yanıtını üretiyor. Hazır seçenekler arasında daha yararlı açıklamayı bulmak, o açıklamayı yardım almadan kurmakla farklı bir görev. Ben bu farkı, modellerin bilmediği bilgiye ilişkin kesin bir tanı olarak okumuyorum. Önceden sunulmuş açıklama seçimi kolaylaştırmış olabilir; yanıt üretirken verilen yönergeye uyma eğilimi de başka bir açıklama. Seçim puanını, üretilen yardımın yerine koymak bu olasılıkları görünmez kılar.[1]

Araştırmacılar, kullanıcının amacını modele açıkça vererek bu olasılıkları biraz daha ayırıyor. Duyurunun Sonnet 4.6 örneğinde, amaca yönelik çözüm sunma oranı yüzde 59’dan yüzde 67’ye çıkarken yanlış varsayımı tanıma yüzde 47’den yüzde 34’e düşüyor. Amacı belirtmek, yanıtın bütün özelliklerini birlikte iyileştirmiyor. Bu karşılaştırma, modelin sorunu anlamasıyla o anlayışı açıklamaya dönüştürmesinin farklı aşamalarda aksayabileceğini düşündürüyor. Ancak modele amaç bilgisinin verilmesi, sıradan kullanıcının bunu kendi başına doğru biçimde açıklayabildiği bir kullanım koşulunu temsil etmiyor; sınamadaki bilgi desteği açık tutulmalı.[1]

Bu yöntemi kullanan bir araştırmacı için belirleyici sınır, hangi soruların seçildiği. Forum bölümünde doğrudan yanıtın yeterli olduğu örnekler eleniyor; amaç, insan yanıtlarından çıkarılıyor. WikiHow bölümü yapay sorulardan oluşuyor. Dolayısıyla sonuçları bütün kullanıcı sorularındaki yanlış varsayım sıklığına çevirmek mümkün değil. Benim bir sonraki karşılaştırmada görmek istediğim, bu tür sorularla doğrudan yanıtlanması gereken soruların birlikte sınanması. Kullanıcının amacını yeniden kurmanın işe yaradığı durumlarla gereksiz yönlendirmenin başladığı durumlar aynı değerlendirmede görünür olmalı. Böyle bir karşılaştırma, açıklamaya bir alternatif eklemeyi ödüllendirmekten öte, ne zaman yön değiştirmenin uygun olduğunu sınar. Gözlenebilir işaret, yanlış yöntem içeren sorularda amaca yönelik yanıtlar artarken doğrudan yanıtlanabilir sorularda gereksiz yönlendirmenin artmaması olurdu.[1]