This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
MultiTalk: Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation
Новый липсинк. Модель для создания видео с диалогами на основе аудиозаписей.
- несколько говорящих
- до 15 секунд в 480p и 720p
- контроль персонажей текстом
- генерация мультфильмов и видео с пением и другими типами речи
Код
Веса 10 Гб
ComfyUI Kijai перед отпуском сделал
Колаб на A100
#Lipsync #potraitanimation #speech2video #comfyUI #humananimation
Новый липсинк. Модель для создания видео с диалогами на основе аудиозаписей.
- несколько говорящих
- до 15 секунд в 480p и 720p
- контроль персонажей текстом
- генерация мультфильмов и видео с пением и другими типами речи
Код
Веса 10 Гб
ComfyUI Kijai перед отпуском сделал
Колаб на A100
#Lipsync #potraitanimation #speech2video #comfyUI #humananimation
👍9❤3😁2💩1
Появился демоспейс липсинка MultiTalk
Демо
#Lipsync #potraitanimation #speech2video #comfyUI #humananimation
Демо
#Lipsync #potraitanimation #speech2video #comfyUI #humananimation
❤8
OmniAvatar: Efficient Audio-Driven Avatar Video Generation with Adaptive Body Animation
Оживлятор персонажей по звуку речи от Alibaba.
С липсинком, естественно. Есть контроль эмоций, фона, управление жестами и их амплитудой. Даже взимодействие с объектами умеет делать
Есть веса для WAN 1.3B и WAN 14B
Код
#portraitanimation #characteranimation #lipsync
Оживлятор персонажей по звуку речи от Alibaba.
С липсинком, естественно. Есть контроль эмоций, фона, управление жестами и их амплитудой. Даже взимодействие с объектами умеет делать
Есть веса для WAN 1.3B и WAN 14B
Код
#portraitanimation #characteranimation #lipsync
👍9👎2🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
Опубликован код / веса оживлятора портретов FLOAT
Код
Веса
#talkinghead #speech2video #facialanimation #lipsync
Код
Веса
#talkinghead #speech2video #facialanimation #lipsync
👍9
This media is not supported in your browser
VIEW IN TELEGRAM
Появился демоспейс оживлятора персонажей OmniAvatar.
Сейчас ему плохо, можно чекнуть чуть позже
Демо
#portraitanimation #characteranimation #lipsync
Сейчас ему плохо, можно чекнуть чуть позже
Демо
#portraitanimation #characteranimation #lipsync
1👍10
This media is not supported in your browser
VIEW IN TELEGRAM
У кого не работает демоспейс OmniAvatar попробуйте зайти с другого браузера.
К сожалению бесплатного тарифа хватает всего на 6 секунд оживляжа, мы так и не узнаем о каких триллионах говорил Трамп
#portraitanimation #characteranimation #lipsync #neuronaut_art
К сожалению бесплатного тарифа хватает всего на 6 секунд оживляжа, мы так и не узнаем о каких триллионах говорил Трамп
#portraitanimation #characteranimation #lipsync #neuronaut_art
😁8👍1
SkyReels-A3
Анонсировали (или релизнули - непонятно) новый "непревзойденный" оживлятор персонажей по речи / пению.
И зачем-то дали ссылку на пустой репозиторий.
И ссылку на свой сервис где непонятно где искать новую модель.
Умеет создавать длинные ("неограниченно длинные") видео, несколько минут, сохраняя идентичность персонажа.
Умеет создавать профессиональное движение камеры
Гитхаб (пусто)
Попробовать видимо здесь
[UPDATE] Мне показали где он прячется, картинка в коментах. Он только для платных пользователей
#lipsync #portraitanimation #characteranimation #speech2video
Анонсировали (или релизнули - непонятно) новый "непревзойденный" оживлятор персонажей по речи / пению.
И зачем-то дали ссылку на пустой репозиторий.
И ссылку на свой сервис где непонятно где искать новую модель.
Умеет создавать длинные ("неограниченно длинные") видео, несколько минут, сохраняя идентичность персонажа.
Умеет создавать профессиональное движение камеры
Гитхаб (пусто)
Попробовать видимо здесь
[UPDATE] Мне показали где он прячется, картинка в коментах. Он только для платных пользователей
#lipsync #portraitanimation #characteranimation #speech2video
👍6👎2❤1👀1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
EchoMimicV3
Оживлятор персонажей по голосу на 1.3B параметров на основе Wan 2.1 1.3B.
Что-то там про мультимодальность и мультизадачность в архитектуре говорят.
Умеет делать взаимодействие с объектами, пение.
Выглядит несколько деревянно, но весит всего 3Гб с хвостиком
Код
Веса
#lipsync #portraitanimation #characteranimation #speech2video
Оживлятор персонажей по голосу на 1.3B параметров на основе Wan 2.1 1.3B.
Что-то там про мультимодальность и мультизадачность в архитектуре говорят.
Умеет делать взаимодействие с объектами, пение.
Выглядит несколько деревянно, но весит всего 3Гб с хвостиком
Код
Веса
#lipsync #portraitanimation #characteranimation #speech2video
👎6🔥3🤔2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Pika audio-driven performance model
Оживлятор картинок по звуку от Pika.
В 20 раз быстрее и дешеле предыдущей модели.
Создает видео за 6 секунд.
Похоже что доступно (или будет доступно) только в мобильном приложении
AppStore
#lipsync #portraitanimation #characteranimation #speech2video #mobile #ios
Оживлятор картинок по звуку от Pika.
В 20 раз быстрее и дешеле предыдущей модели.
Создает видео за 6 секунд.
Похоже что доступно (или будет доступно) только в мобильном приложении
AppStore
#lipsync #portraitanimation #characteranimation #speech2video #mobile #ios
👍2
StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation
🥁🥁🥁 барабанная дробь
И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent
Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?
Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами
Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480
5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM
Код
#lipsync #portraitanimation #characteranimation #speech2video #avatar
🥁🥁🥁 барабанная дробь
И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent
Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?
Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами
Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480
5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM
Код
#lipsync #portraitanimation #characteranimation #speech2video #avatar
👍6🔥4❤1
This media is not supported in your browser
VIEW IN TELEGRAM
InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing
Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.
Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.
Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.
Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита
Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk
#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video
Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.
Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.
Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.
Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита
Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk
#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video
👍11❤2
lipsync-2-pro: studio-grade lipsync in minutes
Новая версия говорилки с липсинком от sync.so
Умеет клонировать голос, делает липсинк видео
В режиме Pro есть таймлиния
Бесплатного тарифа нет, но дают попробовать
Спасибо @m_franz
#lipsync #tts #text2speech #voicecloning
Новая версия говорилки с липсинком от sync.so
Умеет клонировать голос, делает липсинк видео
В режиме Pro есть таймлиния
Бесплатного тарифа нет, но дают попробовать
Спасибо @m_franz
#lipsync #tts #text2speech #voicecloning
👍9
This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье🤩
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10