DecisionPivot, istekleri yönlendiren, kuralları denetleyen ve çıktıları doğrulayan modelleri, belirleyici bir ayrıntının doğru yanıtı değiştirdiği sorularla değerlendiriyor. Yeni ön baskı, üretilmiş karşılaştırma gruplarını mevcut açık sınamalarla birleştiriyor. Tek soruda doğruluk, birbiriyle bağlantılı bütün soruları doğru yanıtlama ve olasılıkları doğru sıralama ayrı ölçülerek toplu puanların örttüğü farklar ortaya çıkarılıyor.
Yapay Zekâ··Akşam
Küçük bir değişiklik doğru yanıtı değiştiriyor
Tek bir arXiv ön baskısında sunulan DecisionPivot, istek yönlendirme, kural denetimi ve çıktı doğrulama kararlarını sınayan bir değerlendirme düzeneği. Üretilen sorular karşılaştırma gruplarına ayrılıyor; belirleyici bir ayrıntı değiştiğinde doğru yanıt da değişiyor. Bir örnekte, iş akışındaki adımların sırası gerekli bir dosyanın sonda kalıp kalmadığını belirliyor. Soru üretecinin hesapladığı yanıtları, ayrı olarak geliştirilmiş bir çözücü denetliyor.[1]
Üretilmiş görevler açık başvuru sınamalarıyla eşleştiriliyor
Düzenek, 48 göreve ayrılan 40.033 soruyla yedi karar rolünü kapsıyor. Ana bölümde, üretilmiş 13 görev ailesinden 7.800 soru var. Başvuru bölümünde ise açık 35 sınama kümesinden 32.233 soru bulunuyor. Başvuru görevlerinin özgün ölçümleri korunuyor; bu nedenle puanları ana bölümdekilerle doğrudan eşdeğer sayılmıyor. Araştırmacılar, her model için açıklanan yöntemlerle 40 karar modelini ve 14 genel amaçlı modeli değerlendiriyor.[1]
Olasılıkları doğru sıralamak kararı doğru vermeye yetmeyebiliyor
Ölçümler, tek soruda doğruluğu, karşılaştırma grubunun tamamında başarıyı, olasılık sıralamasını ve güven düzeyinin doğrulukla uyumunu ayırıyor. Toplam 2.400 ikili karşılaştırmada Perplexity Decider, olumlu örneğe yüzde 92,3 oranında daha yüksek olasılık veriyor. İki örneği birlikte doğru sınıflandırdığı oran ise yüzde 74,1. Araştırmacılar ayrıca ayrı bir alt kümede daha yoğun akıl yürütme ayarlarını ve yüksek güvenli yanıtlardaki gözlenen hata oranlarını inceliyor. Üretilmiş örneklerde de modelin eğitim verisiyle bir örtüşme bulunması olası.[1]
