Hummingbird-0
Ну логично, видеоаватары уже есть, должно быть нетрудно адаптировать для липсинка.
Hummingbird-0 от Tavus делает реалистичную, сохраняющую индивидуальность синхронизацию губ из любого MP3 + MP4. Дообучение не требуется
Говорят, что SOTA (самая лучшая модель)
Попробовать
#lipsync
Ну логично, видеоаватары уже есть, должно быть нетрудно адаптировать для липсинка.
Hummingbird-0 от Tavus делает реалистичную, сохраняющую индивидуальность синхронизацию губ из любого MP3 + MP4. Дообучение не требуется
Говорят, что SOTA (самая лучшая модель)
Попробовать
#lipsync
👍9😐2
Media is too big
VIEW IN TELEGRAM
FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis
Говорящий аватар / оживлятор портретов от Alibaba с контролем интенсивности движения. работает с разными крупностями кадра и позами, с разными типами персонажей
Сравнение с конкурентами впечатляет.
Построен на базе Wan2.1
Код
#portraitanimation #image2video #speech2video #humananimation #lipsync #talkinghead
Говорящий аватар / оживлятор портретов от Alibaba с контролем интенсивности движения. работает с разными крупностями кадра и позами, с разными типами персонажей
Сравнение с конкурентами впечатляет.
Построен на базе Wan2.1
Код
#portraitanimation #image2video #speech2video #humananimation #lipsync #talkinghead
👍9
Heygen Avatar IV
Сервис Heygen запустил обновленную функцию оживления портретов.
Достаточно закинуть фото и текст.
А также создали MCP сервер
Доки
Гитхаб
#postrainanimation #lipsync #text2speech #tts #image2video #mcp
Сервис Heygen запустил обновленную функцию оживления портретов.
Достаточно закинуть фото и текст.
А также создали MCP сервер
Доки
Гитхаб
#postrainanimation #lipsync #text2speech #tts #image2video #mcp
👍7🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
LAM: Large Avatar Model for One-shot Animatable Gaussian Head
Анимируемые аватары по одному изображению на гауссианах от Alibaba.
Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах
Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить
#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video
Анимируемые аватары по одному изображению на гауссианах от Alibaba.
Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах
Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить
#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video
👍5🤔2❤1👎1
Bob Interactive character playground
Липсинк трех персонажей в браузере. Не трех одновременно, а всего на выбор три персонажа. Голос у каждого свой. Но почему-то девчачий голос из моего не получается даже из фальцета. Enjoy
#lipsync
Липсинк трех персонажей в браузере. Не трех одновременно, а всего на выбор три персонажа. Голос у каждого свой. Но почему-то девчачий голос из моего не получается даже из фальцета. Enjoy
#lipsync
👍5❤1😁1
HunyuanPortrait
Аниматор-оживлятор портретов от Tencent.
Переносит на портрет мимику и движения головы с референсного видео
Авторы пишут, что необходима NVIDIA 3090 + CUDA, тестировали на 24Гб VRAM
Код
Веса
#portrainanimation #lipsync #characteranimation #motion2video
Аниматор-оживлятор портретов от Tencent.
Переносит на портрет мимику и движения головы с референсного видео
Авторы пишут, что необходима NVIDIA 3090 + CUDA, тестировали на 24Гб VRAM
Код
Веса
#portrainanimation #lipsync #characteranimation #motion2video
👍7😁2🤔2❤1
Hunyuan Video Avatar
Видеоаватар с контролем эмоций от Tencent
Оживляет персонажа по голосу. Речь может сгенерить сам по тексту. На выбор несколько голосов
Модель прожорливая: минимум 24 ГБ VRAM для 704x768, а для плавного 4K рекомендуют GPU на 96 ГБ.
Код
Попробовать - на китайском офсайте. Одна секунда Илона Маска генерилась несколько минут
Веса
#lipsync #characteranimation #speech2video #talkinghead #portrainanimation
Видеоаватар с контролем эмоций от Tencent
Оживляет персонажа по голосу. Речь может сгенерить сам по тексту. На выбор несколько голосов
Модель прожорливая: минимум 24 ГБ VRAM для 704x768, а для плавного 4K рекомендуют GPU на 96 ГБ.
Код
Попробовать - на китайском офсайте. Одна секунда Илона Маска генерилась несколько минут
Веса
#lipsync #characteranimation #speech2video #talkinghead #portrainanimation
👍5😁2
This media is not supported in your browser
VIEW IN TELEGRAM
PlayDiffusion
Редактирование речи - инпейнтинг звука речи на основе диффузии от Play HT / Play AI или как их там...
Сохраняет окружающий контекст, обеспечивая плавные переходы и согласованные характеристики говорящего.
Принимает на вход аудио до 50 секунд, файл до 50Мб
Попробовать на офсайте
Демо на HF
Веса
Код
Еще из новинок сервиса: липсинк
#audioinpainting #speech2speech #speechediting #tts #lipsync #text2speech
Редактирование речи - инпейнтинг звука речи на основе диффузии от Play HT / Play AI или как их там...
Сохраняет окружающий контекст, обеспечивая плавные переходы и согласованные характеристики говорящего.
Принимает на вход аудио до 50 секунд, файл до 50Мб
Попробовать на офсайте
Демо на HF
Веса
Код
Еще из новинок сервиса: липсинк
#audioinpainting #speech2speech #speechediting #tts #lipsync #text2speech
👍8❤1
SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers
Оживлятор портретов по аудиофайлу речи от SkyReels
Умеет делать липсинк видео
Похоже что код и веса публиковать не собираются
Платно на офсайте - Можно загрузить свое аудио или сгенерировать, на выбор есть библиотека голосов
#lipsync #portraitanimation #speech2video #image2video
Оживлятор портретов по аудиофайлу речи от SkyReels
Умеет делать липсинк видео
Похоже что код и веса публиковать не собираются
Платно на офсайте - Можно загрузить свое аудио или сгенерировать, на выбор есть библиотека голосов
#lipsync #portraitanimation #speech2video #image2video
👍4👎4
HeyGem
Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться
- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +
Код
#lipsync #humanavatar #vocecloning #avatar #
Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться
- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +
Код
#lipsync #humanavatar #vocecloning #avatar #
😐8🔥7👍3