Hy-Nomas, video dünyasını üretim sürerken yönlendirmeye açıyor
Tencent’in tanıttığı Hy-Nomas, videoyu art arda parçalar halinde üretirken yeni metin yönergeleri ve kamera hareketleri alıyor. Kullanıcı sahneyi, nesneleri ve karakterin eylemlerini değiştirebiliyor; önbellek önceki parçaların bağlamını taşıyor. Kod ve ağırlıklar Apache 2.0 lisansıyla paylaşılıyor. Ayrı tek ekran kartı yapılandırması işlemci belleğinden de yararlanıyor; değerlendirme veri kümesi sınama senaryoları içeriyor.
Yapay Zekâ··Öğle
Yeni yönergeler videonun akışını değiştiriyor
Tencent’in Hunyuan yapay zekâ ekibinin tanıttığı Hy-Nomas, art arda video parçaları oluştururken metin yönergeleri ve kamera hareketleriyle yönlendirilebiliyor. Kullanıcı, üretim ilerledikçe sahnenin gidişine müdahale edebiliyor.[1], [2]
Model, videonun tamamını tek işlemde bitirmek yerine parça parça devam ediyor. Yeni bir yönergeyle nesne eklemek, görsel biçemi veya çevreyi değiştirmek ve karakterin yapacağı hareketi tarif etmek mümkün. Kamera yolu da aynı denetimin parçası. Tencent’in 23 Ekim tarihli duyurusu, bu etkileşimli üretim biçimini anlatıyor.[1]
Önbellek önceki parçaların bağlamını taşıyor
Önceki parçalara ilişkin bilgi, sonraki üretimde kullanılmak üzere önbellekte tutuluyor. Tencent bunu, uzun süren üretimde aynı dünyanın sürdürülmesini amaçlayan dünya belleği olarak tanımlıyor. Yapıda Qwen metin kodlayıcısı, kamera yönlendirmesini işleyen bileşenler ve PixelUMM video çözücüsü bulunuyor. Şirket ayrıca robotik gibi alanlara yönelik hafif LoRA uyarlamasını, yani modele sınırlı ek ağırlıklarla yeni bir kullanım kazandırılmasını özellikler arasında sayıyor.[1]
Denetim senaryoları değerlendirme için paylaşıldı
Kod ve model ağırlıkları Apache 2.0 lisansıyla paylaşılıyor. Ayrı tek NVIDIA GeForce RTX 4090 yapılandırması, INT8 ve FP8 sayı biçimlerinin yanında işlemci belleğinden de yararlanıyor. Hy-Nomas-Bench veri kümesinde 280 sınama senaryosu ve 220 başvuru kamera yörüngesi var. Senaryolar metin yönergelerini, kamera hareketini ve ikisinin birlikte kullanılmasını kapsıyor. Bu veri kümesi, video veya model puanı içermiyor.[1]
