Haftalar süren bir işyeri

Microsoft tarafından geliştirilen yeni değerlendirme ortamlarından biri, düzenleyici başvuruların, klinik araştırma tartışmalarının ve farklı ekiplerin güvenlik toplantılarının bulunduğu kurmaca bir ilaç şirketi. Yüzlerce çalışanın yazışma geçmişi var; e-posta zincirleri haftalar boyunca sürüyor. Böyle bir ortamda belirli bir perşembe günü hangi kararın alındığını sormak, bir belgedeki cümleyi bulmaktan daha kapsamlı bir sınama tasarlamaya izin veriyor. Tarih, ekip ve kararın sonradan değişip değişmediği birlikte önem kazanıyor. İlaç şirketindeki güvenlik toplantılarını bir değerlendirme ortamına yerleştirmenin değeri, bu tür ayrımları denetlenebilir sorulara dönüştürebilmesinde.[1]

Bu işyerinin meslek yapısı O*NET’ten, görev adları ve bağlılık ilişkileri iş ilanlarından, işletme ölçeği ise SEC dosyalarından besleniyor. Microsoft, gerçek müşteri verisinin hiçbir aşamada kullanılmadığını söylüyor. Bu tasarımın araştırmacıya sağladığı somut olanak, aynı ortamı aynı yapılandırmayla yeniden kurabilmek. İki Copilot sürümü aynı tarihli belgeler ve aynı sorularla karşılaştırılabilir. Ben burada ilk kazanımı, sınama koşullarının sabitlenmesinde görüyorum: model değişirken sorunun arkasındaki şirketin sessizce değişmesini önleyen bir düzenek kuruluyor.[1]

Soruyu da aynı düzenek yazıyor

Microsoft ortamı hazırladıktan sonra altı aşamalı bir süreçle soruları da üretiyor. Genel iş görevleri sektöre göre seçiliyor, dil uyarlanıyor, kurmaca veriye dayalı sorular yazılıyor ve ifadeler doğallaştırılıyor. Doğruluk ile benzersizlik ayrıca denetleniyor. Veri kalitesi için kullanılan başlıklar yapısal uygunluk, bağlama uygunluk, davranışların gerçekçiliği ve içerik güvenliği. Bu başlıklar, bir ilaç araştırmacısının sorusuna verilen yanıtın doğruluğundan önce, sorunun sorulacağı ortamı değerlendiriyor. Hangi şirket dokusunun kurulduğu ile yanıtın hangi kararı desteklediği için ayrı sonuçlar görmek isterim.[1]

Benim çıkarımım, ortamı ve soruları birbirine uyarlayan bu tasarımın beklenen ilişkilere fazla düzgün örnekler verme riski taşıdığı. Bir soru, üretilen şirketin düzenine tam oturduğunda arama sorunu kolaylaşabilir. Alternatif açıklama da ciddi: sektöre özgü görevler ve uzmanların belirlediği koşullar, genel bir soru kümesinin kaçırdığı güçlükleri içeri alabilir. İkisini ayırmak için dışarıdan hazırlanmış güç örnekler yararlı olur. İlaç şirketi ortamına sonradan değiştirilmiş bir karar veya birbirine aykırı iki toplantı notu eklemek, benim önerdiğim bir deney tasarımı; Microsoft’un yaptığını bildirdiği bir deney değil.[1]

Yanlış kararın izini sürmek

Böyle bir sınamada aynı görev için doğru belgeyi bulma, doğru tarihi seçme ve çelişki çözülmüyorsa yanıtı sınırlandırma ayrı ayrı puanlanabilir. Araştırmacı açısından eski bir güvenlik kararını güncel sanmak, doğru cümleyi yanlış bağlamda kullanmak olur. Benim aradığım değerlendirme, bu hata türünü genel gerçekçilik puanının içinde eritmeden görünür kılan değerlendirme. Önerilen güç örnekleri hazırlayan ekibin, soru üreten sistemden bağımsız olması da hangi alışkanlıkların tekrarlandığını sınamak için anlamlı bir karşılaştırma sağlar.[1]

Microsoft’un ortak iç kataloğu, aynı soruların farklı ekiplerce yeniden kullanılmasına olanak veriyor. Şirketin sonraki hedefleri arasında çok turlu konuşmalar ve işlem yapan eylemciler bulunuyor. O aşamada değerlendirme biriminin, bütün görev boyunca kararın nasıl değiştiğini izlemesi gerekir: doğru belgeyi bulan sistemin sonraki adımda eski kararı uygulaması da hata. Bu yüzden sentetik işyerini araştırma için değerli buluyorum. Başlangıç koşullarını sabitleyip hangi değişikliğin hataya yol açtığını aramaya elverişli bir ortam sunuyor. Güvenimi artıracak sonuç, bağımsız hazırlanmış çelişkili örneklerde hangi hataların ne sıklıkla kaldığının açıklanması olur.[1]