Sözcük, kişi ve zaman
Bir toplantının dökümünde bütün sözcükler doğru olsa da kararı kimin verdiği yanlış yazılabilir. IBM’in Granite Speech güncellemesi bu ayrımı aynı model ailesi içinde görünür kılıyor. Yeni 5.0 modeli yazıya döküm ve çeviriye odaklanırken, güncellenen 4.1 Plus için sözcükler, konuşmacılar ve zaman damgaları ayrı ölçülerle değerlendiriliyor. Benim bu tablodan çıkardığım sonuç, konuşma tanımanın başarısını kullanılacağı işin birimine göre okumak gerektiği. Aranabilir bir konuşma metni, kişiye bağlanmış bir toplantı dökümü ve sözcüğün ses içindeki yerini gösteren altyazı farklı doğruluk soruları soruyor.[1]
IBM’in 4.1 Plus tablosunda uzun konuşmaların sözcük hata oranı 13,53 değerinden 10,22 değerine geriliyor. Aynı tabloda konuşmacı etiketleme hatası 4,40 değerinden 4,10 değerine; konuşmacıya göre eşleştirilmiş sözcük hata ölçüsü 30,50 değerinden 28,48 değerine değişiyor. Bunlar IBM’in kendi sonuçları. Her ölçü kendi eski değeriyle karşılaştırılabilir; farklı ölçülerin büyüklüklerini tek bir başarı sırasına koymak ise puanlama tanımlarını atlar. Sözcükleri düzeltmenin kişileri aynı oranda düzeltmesini beklemek için burada bir gerekçe yok. Konuşma içeriği ile konuşmacı eşleştirmesinin hata kaynakları farklı olabilir.[1]
Zaman damgası da üçüncü bir eksen. IBM, 4.1 Plus mimarisini, istem biçimini ve uygulama arayüzünü koruyarak ağırlıkları yenilediğini söylüyor. Bu, yazılıma geçişi kolaylaştıran somut bir özellik. Fakat aynı arayüz, ortaya çıkan her hata türünün aynı kaldığı varsayımına izin vermez. Bir araştırmacı konuşmada belirli bir ifadeyi buluyorsa zamanın doğru olması önemli; kimin söylediğini inceliyorsa kişi ataması da sonucun parçası. Kullanımın gerektirdiği bu alanların her birini ayrı değerlendirmek, toplam sözcük hatasının sakladığı bir sorunu yakalamaya yardımcı olabilir.[1]
Sözlük ve dil koşulu
Özel sözcük listeleri bu ayrımın başka bir yüzünü gösteriyor. Yeni 5.0 modeli en çok 2.000 terimle yönlendirilebiliyor. Güncellenen 4.1 Plus için IBM, anahtar sözcük yönlendirmeli hata oranının 11,79 değerinden 6,48 değerine indiğini bildiriyor. Bir araştırma alanının adlarını tanımak ile gündelik konuşmayı tanımak böylece ayrı sınanabilir. Burada listedeki terimlerin seçilme biçimi önem kazanıyor: gerçek kullanıcıların önceden bildiği adlarla, sınama sonucunu gördükten sonra hazırlanmış bir liste aynı koşulu temsil etmez. Bu bir sızıntı tespiti değil; sonucun hangi kullanım koşuluna taşınacağını belirleyen deney tasarımı sorusu.[1]
Dil kapsamını da aynı dikkatle okumak gerekiyor. Yeni 2 milyar parametreli model altı dilde yazıya döküm yapıyor; küçük Turbo CTC yedi dili destekliyor. Listeler aynı değil: Turbo CTC’de İtalyanca var, yeni büyük modelde İtalyanca İngilizceden çeviri çıktısı olarak sunuluyor. Bir dilin ürün açıklamasında geçmesi, o dildeki her işlevin aynı biçimde desteklendiği anlamına gelmiyor. Ben bu farkı değerlendirme kümesinin başlangıç noktası sayarım. Kullanılacak dil, görev ve ses koşulu birlikte tanımlandığında bir başarım sayısının hangi işlemi anlattığı da açık hâle gelir.[1]
Tekrarın ölçüsü
Sonraki yararlı sınama, aynı sesler üzerinde eski ve yeni ağırlıkları çalıştırıp sözcük hatasını, konuşmacı eşleştirmesini ve zaman damgasını birlikte yayımlamak olur. Listeyle yönlendirilen sözcükler için liste de önceden sabitlenebilir. Böyle bir karşılaştırma, IBM’in tablosundaki kazanımın başka konuşmacılara ve başka mikrofonlara ne ölçüde taşındığını araştırır. Kazanım küçük kalırsa bunun bir açıklaması ortam değişikliği, diğeri ise seçilen ölçünün yeni görevin hatalarını yeterince temsil etmemesi olabilir. Benim aradığım eşik, toplantı dökümünde hangi alanın ne kadar düzeldiğinin görülebilmesi: sözcük, kişi ve zaman için ayrı cevaplar.[1]