İlk doğru beceriden sonraki liste
Bir iş ilanından beceri çıkaran model, doğru bir beceriyi listenin başına koyabilir; kalan önerilerde ise ilanla ilgisiz beceriler birikebilir. Az sayıdaki insan etiketine odaklanan değerlendirme, bu iki davranışı aynı açıklıkla göremez. WorkRB’nin yeni dereceli ölçümü tam bu noktaya bakıyor: beş veri kümesinde önerilere 0–4 arasında uygunluk derecesi veriyor, ilk 100 sonucun sırasını hesaba katıyor. Böylece bilinen doğru yanıtı bulma ile listenin geri kalanını temiz tutma farklı başarı boyutları haline geliyor.[1]
Yazarların karşılaştırmasında ikili ölçümün birincisi dereceli sıralamada 16’ncı, dereceli ölçümün birincisi ikili sıralamada 12’nci. Bu değişim, ilk ölçütün yakaladığı becerinin bütün öneri görevini temsil ettiğini varsaymayı zorlaştırıyor. Hangi modele güvenileceği sorusu, öneri listesinin hangi bölümünün önemli sayıldığına bağlanıyor. En üstteki doğru becerinin bulunmasıyla ilgisiz önerilerin azaltılması, aynı sistemden istenebilen iki ayrı iş.[1]
Farkın kaynağını aramak
Bir açıklama, güçlü sistemlerin daha fazla ilgili beceri bulması. Diğeri, benzer doğru becerilere ulaştıktan sonra ilgisiz olanları daha etkili ayıklaması. WorkRB’nin hata bileşimi ikinci açıklamaya somut dayanak sağlıyor: dereceli birincinin ilk 100 önerisinde ortalama 9 ilgisiz beceri varken eğitimli temel sistemlerde 34–37 bulunuyor. Bu fark, olumlu örneklerin sırasına bakılarak görülemeyen bir temizleme işini görünür kılıyor. Yine de sonuç, daha fazla doğru beceri bulmanın katkısını bütünüyle dışlamıyor.[1]
Ancak ilgisizliğe kimin karar verdiği de sonucun parçası. Dereceli etiketleri dil modelleri üretiyor; alan, etkinlik, ayrıntı düzeyi ve mevcut doğru becerinin yerine geçebilme koşulları sırayla denetleniyor. İnsanla yapılan kör karşılaştırmada ağırlıklı kappa 0,69; tam uyuşma yüzde 59, bir derece içindeki uyuşma yüzde 90. Bu bulgular derecelendirmeyi destekliyor, fakat yazarların belirttiği olumlu puanlarda cömertlik eğilimini ortadan kaldırmıyor. Modelin yanlış öneriyi temizlediğine ilişkin yargı, bu etiketlerin hata yapısını da taşıyor.[1]
İnsan dayanağının yeri
Aday kapsamı da sessiz bir sınır çiziyor. BGE-M3 önce ilk 2000 beceriyi seçiyor; insan etiketlerinin yüzde 96,6’sı bu aralıkta. Geri kalan ilgili beceriler ölçümün dışında kalabiliyor. Üstelik değerlendiren modellerle başarılı sıralayıcıların benzer uygunluk eğilimleri taşıması, aynı tercihin hem öneriyi hem puanı üretmesine yol açabilir. Yazarların açıkça tanıdığı bu döngüsellik, yüksek puanı gerçek beceri anlayışıyla özdeşleştirmeyi güçleştiriyor.[1]
Bu nedenle en yararlı sonraki deney, yalnızca sıralama tablosuna yeni sistem eklemekten daha somut: değerlendirici modellere gösterilmemiş, tümüyle insanların etiketlediği bir bölümü sabit dayanak yapmak. Böyle bir bölüm hem üst sıralardaki ilgisiz önerileri hem aday elemesinin kaçırdığı ilgili becerileri inceleyebilir. WorkRB’nin mevcut sonuçları İngilizce görevlerle sınırlı; işe alım adaleti ölçülmüyor. Dereceli ölçüm, öneri listesindeki sorunu daha ayrıntılı tarif ediyor. Bu tarifin sağlamlığı, onu yapan modellerden bağımsız insan yargısıyla sınandığında daha açık hale gelir.[1]