Soru, ölçülen şeyi belirliyor

Bir müşteri hizmetleri görüşmesinde konuşmacıları saymakla müşterinin öfkeli duyulup duyulmadığını puanlamak, aynı ses dosyasına yöneltilen iki farklı soru. Hume’un Audio Decision API’si ikisini de geliştiricinin tanımladığı seçeneklere olasılık atayarak yanıtlıyor. Şirketin duyurusundaki bu ayrım, sistemin nasıl değerlendirilmesi gerektiğini de belirliyor: konuşmacı sayısında sayılabilir bir olay aranırken öfke puanında dinleyicinin algısı ölçülüyor. Bir uygulamanın bu yanıtları aynı tür kesinlikte kararlar gibi kullanması, ölçtüğü şeyi değiştirmeden sonucun anlamını değiştirir.[1]

Hume, ilk iç değerlendirmede modelin bir insan panelinin ortalama yargısıyla yüzde 70,7 uyum sağladığını bildiriyor. Tek değerlendirici için verdiği karşılaştırma yüzde 56,5. Payda, konuşmacının kendi bildirdiği duygu veya klinik bir değerlendirme değil; panelin ortalama yargısı. Bu uyumun anlamı, modelin insanların ortak algısını ne ölçüde yeniden ürettiğiyle sınırlı. Şirket de empati, doğallık ve öfke algısında dinleyicilerin anlaşamayabildiğini açıkça belirtiyor. Sonuç, bu anlaşmazlığı ortadan kaldırmıyor; belirli bir değerlendirme hedefi karşısındaki uyumu anlatıyor.[1]

Panel ortalamasının avantajı ve sınırı

Panel ortalamasına yaklaşmak, çok sayıda görüşmeyi aynı ölçütle taramak isteyen bir ekip için işe yarayabilir. Tek dinleyicinin değişken yargısı yerine daha tutarlı bir hedef sağlar. Fakat modelin tek değerlendiriciyi aşması için olası başka bir açıklama da var: eğitim hedefiyle panel ortalamasının yakınlığı, dinleyiciler arasında farklılaşan işaretleri yumuşatıyor olabilir. Bu durumda kazanç, kişinin iç dünyasını daha iyi bilmekten değil, ortak değerlendirme ölçütünü daha düzenli uygulamaktan gelir. Hume’un bildirdiği karşılaştırma bu iki açıklamayı tek başına birbirinden ayırmıyor.[1]

Hume’un temsili insan değerlendirmeleriyle doğrulama önerisi bu noktada önem kazanıyor. Bir çağrı merkezinin kendi görüşmelerinde aynı soruyu, aynı yanıt seçeneklerini ve benzer dinleyicileri kullanarak modelle karşılaştırma yapması, panel uyumunun o kullanım alanına taşınıp taşınmadığını sınar. Aksan, dil ve konuşmanın bağlamı API’nin soru alanları arasında; bunların hepsini tek bir toplam uyum oranında eritmek, belirli bir grubun daha sık yanlış değerlendirildiğini görünmez kılabilir. Bu, açıklanan sonucun böyle bir hatayı kanıtladığı iddiası değil; toplam ölçünün hangi farkları saklayabileceğine ilişkin bir yöntem sorusu.[1]

Olasılıktan işleme geçerken

API’nin yapılandırılmış yanıtı, yorumu doğrudan bir iş kuralına bağlamayı kolaylaştırıyor. Hume, ekiplerin olasılık eşikleri belirleyebileceğini ve ses değerlendirmesini konuşma dökümüyle birlikte kullanabileceğini söylüyor. Burada yeni bir karar başlıyor: şüpheli bir görüşmeyi insan incelemesine yönlendirmekle bir çalışanın performansını puanlamak, aynı yanlış yanıtın farklı sonuçlar doğurduğu işlemler. Panelle uyum oranı bu sonuçların maliyetini ölçmüyor. Eşik seçiminin uygulamadaki anlamı, model puanının hangi işleme bağlandığına da bağlı.[1]

Bu yüzden asıl karşılaştırma yalnızca model ile tek dinleyici arasında kurulmamalı. Hume tarafından önerilen temsili değerlendirmeyi bir adım ileri taşıyan soru, aynı görüşmelerde belirli bir eşikle çalışan uygulamanın hangi hataları yaptığı. İnsan incelemesine gönderilen görüşmeler, gözden kaçanlar ve itirazla değişen puanlar bu soruya ayrı yanıtlar verir. Alternatif olarak ekip yalnızca arşivde arama yapıyorsa aynı hata daha sınırlı bir sonuç doğurabilir. Ses algısındaki uyumu işletme kararına bağlayan kanıt, uygulamanın gerçekten verdiği kararlar düzeyinde aranmalı.[1]