DeepL Aure, değişen ses tonunu konuşma çevirisine taşıyor
Alman yapay zekâ çeviri şirketi DeepL, konuşmadaki ton, vurgu ve hız değişimlerini başka dile taşımak üzere tasarlanan Aure modelini duyurdu. Model, konuşmanın başından alınmış sabit bir ses örneği yerine özgün sesi ve çevrilmiş sözcükleri sürekli birlikte işliyor. Yeni yöntem, şirketin sesi koruma teknolojisini çevrimiçi toplantılara, yüz yüze görüşmelere ve sesli çeviri arayüzüne genişletiyor.
Yapay Zekâ··Gece
Çeviri değişen sesi izliyor
Alman yapay zekâ çeviri şirketi DeepL, gerçek zamanlı konuşma çevirisinde söyleyiş değişimlerini izleyen Aure modelini 11 Kasım’da duyurdu. DeepL Voice ürününde çalışan model, konuşmacının tonunu, duygusunu, vurgusunu ve konuşma hızını hedef dile taşımak üzere tasarlandı. Şirket, çevrilen sözlerin nasıl seslendirileceğini belirlemek için gelen sesi ve çevrilmiş sözcükleri konuşma boyunca sürekli birlikte kullandığını belirtiyor.[1], [2]
Önceki ses koruma sistemi, konuşmanın başlangıcından alınan örneğe dayanıyordu. Bu örnek, çevrilmiş konuşmada kişinin tanınabilir sesini oluşturuyor ancak söyleyişi konuşmanın ilk anlarına bağlıyordu. Aure, daha sonra ortaya çıkan anlatım değişimlerinin de çevrilen cümleleri biçimlendirmesi için işleyişi değiştiriyor. DeepL, ciddi bir tondan coşkuya geçişi ve aciliyet bildiren vurguyu korumak istediği anlatım özellikleri arasında sayıyor.[1], [2]
Ses kimliği, ezgi ve içerik ayrı işleniyor
DeepL, eğitim sırasında ses kimliğini, konuşmanın ezgisini ve söylenen içeriği birbirinden ayıran yöntemler kullandığını açıklıyor. Ezgi; konuşmanın ritmini, vurgusunu ve hızını kapsıyor. Şirkete göre bu bileşenlerin ayrı ele alınması, her birinin yeni dile bağımsız biçimde taşınmasını sağlıyor. Çevrilmiş çıktının geliştirilmesinde pekiştirmeli öğrenme de kullanılıyor; bu işlemde sözlerin anlamı ve sesin niteliği birlikte ele alınıyor.[1], [2]
Sistemin, kişinin sesini arka plan gürültüsünden, yankıdan ve ses bozulmalarından ayırması da gerekiyor. DeepL, aynı kişinin farklı dillerde konuştuğu gerçek örneklerin sınırlı olmasını başka bir teknik güçlük olarak belirtiyor. Şirket, modelin konuşma sırasında her kişiye uyum sağladığını söylüyor. Gelen sesin işlenmesi, kişinin o andaki söyleyişini hesaba katıyor; yorgunluk, coşku veya baskı altında değişen konuşma biçimi bu kapsamda ele alınıyor.[2]
Aure toplantı ve yüz yüze çeviriye ekleniyor
Yeni yetenekler DeepL Voice’un çevrimiçi toplantı, yüz yüze görüşme ve sesli çeviri uygulama arayüzüne kendiliğinden uygulanıyor. Kullanıcıların anlatımı taşıyan özellik için ayrı bir ayar yapması gerekmiyor. İlk aşamada İngilizce, Almanca, İspanyolca, Fransızca, İtalyanca, Japonca, Portekizce ve Korece destekleniyor. DeepL, ürünün desteklediği diğer dillerin mevcut ses modelleri üzerinden sunulmaya devam edeceğini belirtiyor. Yeni model, bu ürünlerin konuşmayı sesli olarak başka dile aktarma işleyişine ekleniyor.[1], [2]
Aure, DeepL’in eylülde tanıttığı ses koruma teknolojisinin devamı olarak geliştirildi. Şirket, konuşma verilerinin nasıl işlendiğini de teknik tasarımın bir parçası olarak açıklıyor. DeepL’e göre toplantı dökümleri ve çeviriler kalıcı olarak saklanmıyor; bu bilgiler oturum sona erdiğinde bellekten siliniyor. Konuşmacıya uyarlanma işlemi, şirketin bildirdiği bu veri işleme düzeni içinde canlı görüşme sırasında yapılıyor.[2]
