Uzmanın kararı sınamaya nasıl giriyor?

Bir finans çalışanının önüne birbiriyle çelişen belgeler koyduğunuzda, doğru sayıyı bulması işin yalnızca başlangıcı. Hangi belgenin neden güvenilir olduğunu açıklaması da gerekiyor. Yapay zekâ sınamaları hazırlayan Surge AI, altı mesleki değerlendirmesini Fireworks’ün Specialized Intelligence Index adlı endeksine eklerken tam bu tür kararları öne çıkarıyor. Sağlık, finans, vergi, muhasebe ve veri bilimi için DAYJOB sınamaları ile yazılım mühendisliği için sudo L7 bir araya geliyor. Benim bu birleşimde aradığım özellik, modelin meslek adını taşıyan bir puan alması kadar, o puanın hangi kararları ödüllendirdiğinin anlaşılması.[1]

Görevleri ilgili işi yapmış uzmanlar yazıyor; çalışma ortamını ve puanlama ölçütlerini de onlar kuruyor. Ardından doğruluk, eksiksizlik ve çözülebilirlik için birden fazla inceleme yapılıyor. Bu tasarım, mesleki muhakemeyi ölçülebilir davranışlara çevirmek için anlaşılır bir yol sunuyor. Ancak uzmanlığın sınamaya hangi seçimlerle aktarıldığı da sonucun parçası. Bir uzmanın önemli bulduğu iletişim biçimi, başka bir ekibin çalışma alışkanlığıyla aynı olmayabilir. Uzman değerlendirmesini güçlü kılan, gerekçelerini görünür hale getirmesi; bu gerekçelerin mesleğin bütününü temsil ettiğini baştan varsaymak ölçümün kapsamını gereksiz genişletiyor.[1]

Dosyadan karara uzanan hata

DAYJOB görevlerinde ortalama 22–36 girdi dosyası bulunuyor; bazılarında sayı 300’ü aşıyor. Dosya kalabalığı, bilgiyi bulma ve çelişkileri fark etme işini yanıt üretiminin içine katıyor. Bu yüzden başarısız bir sonuca bakarken önce eylemcinin doğru bilgiyi bulup bulmadığını, sonra o bilgiden nasıl bir karar çıkardığını sormak anlamlı. Aynı yanlış sonuç, bir belgenin gözden kaçmasından da, bulunan belgenin yanlış yorumlanmasından da doğabilir. Bu iki açıklama farklı iyileştirmelere işaret ediyor; yalnızca toplam puan ikisini birbirinden ayırmaya yetmiyor.[1]

Surge’ün puanlama ölçütleri doğrulukla birlikte doğrulama, muhakeme ve iletişimi içeriyor. Bu ayrıntı, dosya sayısından daha açıklayıcı: doğru bir çıktı ile gerekçesi denetlenebilen bir çıktı arasındaki farkı incelemeye izin veriyor. Model karşılaştırmasında benim okumak istediğim, bu boyutların ayrı dağılımı. Bir modelin toplamındaki üstünlük doğru yanıtlardan, diğerinin farkı yaptığı işi daha iyi açıklamasından geliyorsa, aynı sıralama iki farklı beceriyi örtüyor. İşverenin hangi davranışa ihtiyaç duyduğu değiştikçe, toplamı oluşturan ağırlıkların da kararda görünür olması gerekiyor.[1]

Puanı işe taşımak

sudo L7 görevlerinin yaklaşık yüzde 70’i özel lisansla alınan üretim yazılımlarından geliyor; kaynaklar 75’ten fazla depo ve 15’ten fazla kuruluşa uzanıyor. Bu çeşitlilik, laboratuvarda kurulmuş tek bir örnek uygulamanın dışına çıkıyor. Yine de kurum sayısını, modelin her yeni işyerine aynı biçimde uyum sağlayacağının ölçüsü olarak okumam. Görevleri sağlayan kuruluşların dağılımı ve seçilen iş türleri karşılaştırmanın sınırlarını çiziyor. Başka bir işyerindeki aynı tür göreve geçildiğinde hata örüntüsünün korunması, mesleki muhakemenin ne kadar taşınabildiği konusunda daha açıklayıcı bir gözlem sunar.[1]

Fireworks endeksine katılım, bu sınamaları model seçimi yapan ekipler için ortak bir karşılaştırma alanına taşıyor. Meslek uzmanlarının hazırladığı görevler, işe benzeyen bir soruyu sormayı kolaylaştırıyor; cevabın kullanım değeri ise puanlama ayrıntılarında belirginleşiyor. Ben bir sağlık veya finans ekibinin yerinde olsam, önce kendi işindeki karara en yakın görevin sonucunu açar, ardından doğrulama ve iletişim hatalarının nerede toplandığına bakardım. Böyle bir okuma, meslek adını taşıyan toplamı somut bir iş kararına bağlar. Ölçümün kuvveti de tam burada, sınadığı davranışın sınırlarını açık tutmasında.[1]