İki tablo, iki sınama
NVIDIA’nın tıbbi konuşma deneyi, aynı uyarlama için iki farklı sonuç tablosu veriyor. Bütün ses parçalarında istem seçimiyle yüzde 23,8 olan sözcük hatası, ince ayardan sonra yüzde 11,8’e düşüyor. Geliştirme sırasında kullanılmamış konuşmacılara geçildiğinde ise karşılaştırma yüzde 22,44 ile yüzde 12,17 arasında. Her iki tablo iyileşme bildiriyor. Benim için aralarındaki önemli fark puanın büyüklüğünden önce, hangi sesin geliştirme kararlarını etkilediği. Bir araştırmacının kendi denemesini sürdürmesi için yararlı olan toplam tabloyla, model seçiminin dışında bırakılmış konuşmacıların tablosu farklı soruları yanıtlıyor.[1]
Eka Care başarımındaki 3.619 parçanın 855’i istem seçimi ve geliştirme için ayrılıyor. NVIDIA son sistemleri, farklı konuşmacılardan gelen kalan 2.764 parçada bir kez çözümlüyor. İlk toplam, bu 855 parçayı da içeriyor. Bu yüzden toplamdan çıkan yüzde 11,8’i, bütünüyle dokunulmamış bir sınamanın sonucu diye okumam. Konuşmacı ayrımı daha dar ama daha temiz bir iddiaya izin veriyor: geliştirmede duyulmayan seslerde de kazanım var. Bu ayrım, aynı insanın konuşma özelliklerini öğrenmekle başka insanlara taşınan bir uyarlamayı birbirinden ayırmaya yardımcı oluyor.[1]
Süzgecin kapsadığı risk
Uyarlama verisinin hazırlanışında da ayrı bir önlem var. Sentetik metinler, başarım dökümleriyle tam eşleşme ve sekiz sözcüklük örtüşme bakımından süzülüyor. Bu işlem, test cümlelerinin eğitim malzemesine doğrudan karışmasına karşı anlamlı bir denetim. Yine de buradan bütün dolaylı benzerliklerin giderildiğini çıkarmıyorum. Aynı tıbbi alanın sözcükleri ve anlatım biçimleri doğal olarak yakın olabilir. Benim çıkarımım, konuşmacı ayrımı ile metin süzmenin farklı riskleri azalttığı. Alternatif açıklama, kazanımın bir bölümünün yeni seslerden çok başarımın diline ve görev biçimine yakın uyarlama örneklerinden gelmesi.[1]
Başarım yalnızca genel sözcük hatasını vermiyor. Ayrılmış testte anahtar sözcük hatası yüzde 9,2’den yüzde 6,5’e, anlamsal hata yüzde 10,0’dan yüzde 7,6’ya iniyor. Bunlar NVIDIA’nın bildirdiği ölçümler. Öte yandan tıbbi uzman karşılaştırıcı, marka ilaç adları ve tanıların tam eşleşmesinde önde kalıyor. Bu farkı önemli buluyorum; genel dökümün daha akıcı olmasıyla belirli bir tıbbi terimin eksiksiz aktarılması aynı özellik değil. Bir uyarlama seçerken terim düzeyindeki bu tabloyu ortalama sözcük hatasının yanında görmek isterim. Ölçümlerin hiçbiri burada hasta bakımının sonucunu izlemiyor.[1]
Kazancın yanındaki değişim
Kazancın bedeli de aynı raporda görünüyor. Genel İngilizce LibriSpeech test-clean kümesinde hata yüzde 1,54’ten yüzde 1,69’a çıkıyor. Küçük bir değişim, ama uyarlamanın her yerde aynı yönde işlemediğini gösteriyor. Benim yorumum, alan içi sonucu tek başına genel yetenek artışı diye adlandırmamak gerektiği. Başka bir açıklama, bu dar genel konuşma kümesinin değişime duyarlılığı olabilir; tek fark bütün dil ve aksanlar hakkında hüküm kurdurmaz. Tıbbi görevle genel konuşma için kabul edilebilir hata sınırlarını önceden ayırmak, hangi yeteneğe ne karşılığında ağırlık verildiğini görünür kılar.[1]
Bu çalışmadan alacağım yöntem, yeni modeli yalnızca en düşük toplam hatayla seçmemek. Geliştirmede kullanılan sesleri işaretlemek, son testi konuşmacı bazında ayırmak ve her sistemin aynı değerlendirme kuralıyla ölçüldüğünü göstermek uygulanabilir adımlar. NVIDIA’nın düzeni bunların nasıl raporlanabileceğine somut bir örnek sunuyor. Daha geniş kullanım iddiasını tartmak içinse başka bir merkezden, seçim sırasında hiç açılmamış konuşmaları aynı terim ölçümleriyle karşılaştırmak isterim. Bu bir değerlendirme önerisi. Bugünkü sonuç, Hint doktor ve tıp öğrencilerinin belirli başarımındaki uyarlamayı destekliyor; farklı bir kurumun iş akışını ölçmüş olmuyor.[1]