Belgenin tamamı doğruysa

Bir özgeçmişte on dört soruyu doğru yanıtlamak, son soruda yanılınca bütünüyle başarısız sayılabilir. Artificial Analysis’in Decision Index v2’ye eklediği AA-Paperclip tam olarak bu kuralı kullanıyor: 1.500 belgenin her birindeki 15 yanıtın tamamı doğru olmalı. Özgeçmişler, fişler, faturalar ve araştırma makaleleri aynı sınamada yer alıyor. Ölçülen sonuç, tek tek alanların ortalama doğruluğundan farklı: belgeden beklenen bütün işin hatasız tamamlanması. Bir modelin puanını okurken önce bu başarı birimini bilmek gerekiyor.[1]

Bu tercih, bir belgedeki küçük hatanın sonraki işlemi bozduğu iş akışları için anlamlı olabilir. Fakat toplam puan, bilgi çıkarma hatasıyla karar hatasını aynı başarısızlık hanesinde buluşturur. Aynı belge puanına sahip iki sistemin biri bir alanı sık kaçırırken diğeri karar sorusunda yanılıyor olabilir. Bu ayrımın görünmemesi, iki sistemin aynı biçimde başarısız olduğunu düşündürmemeli. Öte yandan işin gerçekten bütün yanıtları gerektirdiği bir kullanımda, tek tek alanlardaki yüksek doğruluk fazla iyimser bir gösterge de olabilir.[1]

Güvenin puana girdiği yer

Yeni Decision Score, cevabın doğruluğuyla birlikte modelin o cevaba verdiği güveni de hesaba katıyor. Doğru yanıtlar 50’nin üstünde, yanlışlar 50’nin altında puan alıyor; güven düzeyi her iki aralıkta da sonucu değiştiriyor. Böylece emin biçimde verilen yanlış cevapla tereddütlü yanlış cevap aynı kabul edilmiyor. Endeksin bileşimi de değişmiş durumda: AA-Paperclip yüzde 30, AA-Symmetry yüzde 15 ağırlık taşıyor. Özel veri kümelerinin toplam payı yüzde 25’ten yüzde 45’e yükselmiş. Yeni puanı eski sürümdeki puanla doğrudan yan yana koymak bu değişiklikleri gizler.[1]

Kalibrasyonun değeri, modelin eminliğinin doğru çıkma sıklığıyla ne kadar uyumlu olduğunda ortaya çıkar. Ancak daha iyi bir toplam güven puanı, her karar için uygun kabul eşiğini kendiliğinden seçmez. Yanlış kararın bedeliyle işi bir insana devretmenin bedeli farklı olabilir. Bu nedenle sıralamayı bir görevi otomatikleştirme izni gibi okumam. Tersinden, güveni doğru ayarlayan bir model daha fazla işi otomatikleştirmese bile hangi örneklerin incelenmeye gönderileceğini ayırmada yararlı olabilir; bu yararın ölçümü, endeksteki sırasından ayrı bir kullanım sorusudur.[1]

Kararlılık ve doğruluk

AA-Symmetry başka bir noktayı sınıyor: aynı anlamı koruyan bir soru değişince modelin olasılıkları ne kadar oynuyor? Testte 120 soru var; seçeneklerin sırası değişiyor, etiketler yer değiştiriyor, evet-hayır soruları olumsuz biçimde soruluyor. Bu tasarım, içeriğe bağlı kalması beklenen bir kararın sunuluş biçiminden ne kadar etkilendiğini görünür kılıyor. Fakat tutarlı cevap, doğru cevapla aynı şey değil. Yanlış bir cevabı bütün eşdeğer biçimlerde koruyan model, tutarlılık açısından güçlü görünebilir. Doğrulukla değişmezliği ayrı okumak bu yüzden gerekli.[1]

Bu güncellemenin yararlı yanı, karar kalitesini tek başına doğru yanıt sayısına indirmemesi. Güven ve sunuluş biçimine dayanıklılık da görünür hale geliyor. Benim için bir sonraki somut iyileştirme, belge düzeyindeki sonucun yanında alan çıkarma ve karar hatalarının ayrı gösterilmesi olurdu. Böyle bir ayrım, zayıflığın bilginin bulunmasında mı, bulunan bilgiden karar verilmesinde mi olduğunu anlamayı kolaylaştırır. Yalnızca kusursuz tamamlanmış belge gereken bir işte toplam sonuç yine belirleyici olabilir. Ayrıntı, toplam puanı geçersiz kılmak için değil, hangi işe taşınabileceğini doğru tarif etmek için gerekli.[1]