👄 MultiTalk — новая открытая lip sync модель с высоким качеством синхронизации.

✔️ Что умеет:
• Генерирует видео с несколькими говорящими персонажами по аудио
• Поддерживает видео до 15 секунд в 480p и 720p
• Управление персонажами через текстовые промпты
• Поддержка генерации мультяшных героев, пения, нестандартных стилей речи
• Доступно в ComfyUI

Модель принимает на вход многопотоковое аудио, референсное изображение и текстовый промпт, после чего генерирует видео с взаимодействиями между персонажами, следуя промпту и с точной синхронизацией губ с речью.

▪Github: https://github.com/MeiGen-AI/MultiTalk
▪HF: https://huggingface.co/MeiGen-AI/MeiGen-MultiTalk

@ai_machinelearning_big_data

#wan #ai #ml #lipsync #MultiTalk