Cohere, muhakeme yapan modellerin yanıt öncesi ve sonrası güvenini ayrı hedeflerle eğiten CALIBER yöntemini anlattı. Aynı soruya verilen tekrarlı yanıtlar, sorunun ne sıklıkla çözülebildiğini belirliyor. Son güven tahmini ise üretilen belirli cevabın doğruluğuna ilişkin. Ekip, yöntemi matematik ve başka soru-cevap sınamalarında değerlendirdi. Modelin ne zaman ek doğrulamaya başvuracağını seçmesinde kullanılması henüz sınanmadı.
Yapay zekâ şirketi Cohere, muhakeme yapan bir modele iki aşamada güven belirtmeyi öğreten CALIBER yöntemini anlattı. Tek bir geliştirici ekibin açıklamasına dayanan yöntemde ilk tahmin, soru çözülmeden önce veriliyor. İkincisi, üretilen belirli yanıtın doğruluğuna ilişkin. Başlangıç tahmini, muhakeme, cevap ve son tahmin aynı yanıtın içinde yer alıyor.[1]
Başlangıç tahmininin eğitiminde aynı soruya verilen birkaç ayrı yanıt kullanılıyor. Denemelerdeki başarı oranı, o soru için ortak hedef oluyor. Son tahminin hedefi ise her yanıtın doğru veya yanlış olmasına göre ayrıca belirleniyor. Böylece aynı sorunun başarılı ve başarısız denemeleri ortak başlangıç hedefine, farklı son hedeflere sahip olabiliyor. Güven eğitimi, doğru yanıt üretmeye verilen ödülle birlikte yürütülüyor.[1]
Araştırmacılar, güven yüzdelerinin gözlenen doğrulukla örtüşmesini doğru yanıtların yanlışlardan daha yüksek güven alıp almadığından ayrı değerlendiriyor. Her soruya aynı güveni vermek, toplam doğrulukla uyumlu görünürken güvenilir cevaplarla yanlışları ayıramayabiliyor. Ekip modelleri matematik sorularıyla eğitti; başka soru-cevap görevlerinde o görevlere özel ek eğitim yapmadan değerlendirdi. Güven tahminiyle cevabı ne zaman denetleyeceğini, bilgi arayacağını veya yanıt vermeyeceğini seçmek henüz sınanan uygulamalar arasında bulunmuyor.[1]
