Nvidia, 40 dilde çalışan konuşma modelini yayımladı
Nvidia, konuşmayı yazıya döken, konuşmacıları ayıran ve çeviri yapan Nemotron 3.5 Transcribe modelini indirilebilir ağırlıklarıyla yayımladı. Sistem 40 dili kapsıyor. Şirket, Granary v2 eğitim verisini ve belirli alanlara uyarlama yöntemlerini de sundu. Geliştiriciler, yalnızca dışarıdan sunulan bir yazıya döküm hizmetine bağlı kalmak yerine modeli kendi altyapılarında çalıştırabiliyor ve kullanacakları alana göre uyarlayabiliyor. Yayım, konuşma işleme araçları geliştiren ekipleri ilgilendiriyor.
Yapay Zekâ··Gece
Tek konuşma modeli birden fazla işi kapsıyor
Çip ve yapay zekâ geliştiricisi Nvidia, Nemotron 3.5 Transcribe modelini 28 Ekim’de indirilebilir ağırlıklarıyla yayımladı. Konuşma sistemi, 40 dildeki sesleri yazıya döküyor. Ayrıca konuşmacıların ayrılması, çeviri ve ses içeriği hakkında soru yanıtlama işlerini aynı modelde birleştiriyor. Geliştiriciler bu modeli kendi altyapılarında çalıştırabiliyor. Yayım, Granary v2 konuşma verisini ve tanımayı belirli kullanımlara uyarlama araçlarını da içeriyor. Bu araçlar, modelin farklı uygulamalar için hazırlanmasını destekliyor.[1], [2]
Doğal dilde verilen yönergeler, çıktının biçimini belirliyor. Bir toplantıdan alınan ses, konuşmacıların gösterildiği metne veya çeviriye dönüştürülebiliyor; tartışmada hangi kararların alındığı da sorulabiliyor. Nvidia, sistemin bir saate kadar kayıtları işleyebildiğini ve sekize kadar konuşmacıyı ayırabildiğini belirtiyor. Model, önceden kaydedilmiş ses için tasarlanmış. Böylece geliştirici, elindeki sesin işlenmesini ve hangi çıktının üretileceğini aynı model üzerinden yönetebiliyor. Canlı yayınların anlık dökümü bu modelin çalışma biçimi kapsamında sunulmuyor.[1]
Dil desteği istenen işe göre değişiyor
Dil kapsamı, Nvidia modelinden istenen işe göre değişiyor. Konuşmayı yazıya dökme 40 dili, İngilizceye ve İngilizceden çeviri 31 dili, konuşmacı ayırma ise 13 dili kapsıyor. Ses hakkında soru yanıtlama işlevi İngilizceyle eğitilmiş. Geliştiriciler yönergelerine alana özgü terimler de ekleyebiliyor. Bu bağlam, modelin kayıtta karşılaşacağı sözcüklerin yazımını belirlemesine yardımcı oluyor. Yönergede verilen terimin kullanımı, ses içeriğinin o terimi desteklemesine bağlanıyor; yalnızca listede bulunması yeterli görülmüyor.[1]
Model, tek tek sözcükler için zaman bilgisi de sağlıyor. Böylece yazılı döküm, kaydın yeniden oynatılmasıyla eşleştirilebiliyor. Nvidia, gerçek zamanlı ses ve görüntü altyapısı sağlayan Agora şirketinin sınıf gösterimini örnek veriyor; bu uygulamada döküm, dersin tekrarının yanında gösteriliyor. Sunulan araçlar, toplantı yazılımları ve tıbbi dikte gibi kullanımlara yöneliyor. Bu işlerde sözcükleri tanımak kadar kimin konuştuğunu ayırmak da çıktının kullanılabilir bir parçasını oluşturuyor.[1]
Konuşma verisi ek uyarlamayı destekliyor
Nvidia’nın yayımladığı Granary v2 konuşma verisi ve veri hazırlama süreci, birbirine eşlenmiş yazılı döküm biçimleriyle veri kalitesine ilişkin bilgiler sağlıyor. Geliştiriciler, yazılı çıktının kurallarını seçip Nvidia’nın konuşma modelleri için eğitim araçları olan NeMo Speech ile modeli uyarlayabiliyor. Belgeler, özel alan sözcüklerinin hazırlanmasını ve tanımanın değerlendirilmesini de kapsıyor. Birlikte sunulan iş akışı, örnek sesleri uygulamanın ihtiyaç duyduğu yazılı biçimle ilişkilendiriyor. Bu sayede uyarlama, genel dökümün yanında belirli bir alanda kullanılan dili de ele alabiliyor.[1]
