Hummingbird-0

Ну логично, видеоаватары уже есть, должно быть нетрудно адаптировать для липсинка.

Hummingbird-0 от Tavus делает реалистичную, сохраняющую индивидуальность синхронизацию губ из любого MP3 + MP4. Дообучение не требуется

Говорят, что SOTA (самая лучшая модель)

Попробовать

#lipsync

Heygen Avatar IV

Сервис Heygen запустил обновленную функцию оживления портретов.

Достаточно закинуть фото и текст.

А также создали MCP сервер

Доки
Гитхаб

#postrainanimation #lipsync #text2speech #tts #image2video #mcp

Bob Interactive character playground

Липсинк трех персонажей в браузере. Не трех одновременно, а всего на выбор три персонажа. Голос у каждого свой. Но почему-то девчачий голос из моего не получается даже из фальцета. Enjoy

#lipsync

HunyuanPortrait

Аниматор-оживлятор портретов от Tencent.

Переносит на портрет мимику и движения головы с референсного видео

Авторы пишут, что необходима NVIDIA 3090 + CUDA, тестировали на 24Гб VRAM

Код
Веса

#portrainanimation #lipsync #characteranimation #motion2video

Hunyuan Video Avatar

Видеоаватар с контролем эмоций от Tencent
Оживляет персонажа по голосу. Речь может сгенерить сам по тексту. На выбор несколько голосов

Модель прожорливая: минимум 24 ГБ VRAM для 704x768, а для плавного 4K рекомендуют GPU на 96 ГБ.

Код
Попробовать - на китайском офсайте. Одна секунда Илона Маска генерилась несколько минут
Веса

#lipsync #characteranimation #speech2video #talkinghead #portrainanimation

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

Оживлятор портретов по аудиофайлу речи от SkyReels

Умеет делать липсинк видео

Похоже что код и веса публиковать не собираются

Платно на офсайте - Можно загрузить свое аудио или сгенерировать, на выбор есть библиотека голосов

#lipsync #portraitanimation #speech2video #image2video

HeyGem

Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться

- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +

Код

#lipsync #humanavatar #vocecloning #avatar #

MultiTalk: Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation

Новый липсинк. Модель для создания видео с диалогами на основе аудиозаписей.

- несколько говорящих
- до 15 секунд в 480p и 720p
- контроль персонажей текстом
- генерация мультфильмов и видео с пением и другими типами речи

Код
Веса 10 Гб
ComfyUI Kijai перед отпуском сделал
Колаб на A100

#Lipsync #potraitanimation #speech2video #comfyUI #humananimation

OmniAvatar: Efficient Audio-Driven Avatar Video Generation with Adaptive Body Animation

Оживлятор персонажей по звуку речи от Alibaba.
С липсинком, естественно. Есть контроль эмоций, фона, управление жестами и их амплитудой. Даже взимодействие с объектами умеет делать

Есть веса для WAN 1.3B и WAN 14B

Код

#portraitanimation #characteranimation #lipsync

SkyReels-A3

Анонсировали (или релизнули - непонятно) новый "непревзойденный" оживлятор персонажей по речи / пению.
И зачем-то дали ссылку на пустой репозиторий.
И ссылку на свой сервис где непонятно где искать новую модель.

Умеет создавать длинные ("неограниченно длинные") видео, несколько минут, сохраняя идентичность персонажа.

Умеет создавать профессиональное движение камеры

Гитхаб (пусто)
Попробовать видимо здесь

[UPDATE] Мне показали где он прячется, картинка в коментах. Он только для платных пользователей

#lipsync #portraitanimation #characteranimation #speech2video

EchoMimicV3

Оживлятор персонажей по голосу на 1.3B параметров на основе Wan 2.1 1.3B.

Что-то там про мультимодальность и мультизадачность в архитектуре говорят.

Умеет делать взаимодействие с объектами, пение.

Выглядит несколько деревянно, но весит всего 3Гб с хвостиком

Код
Веса

#lipsync #portraitanimation #characteranimation #speech2video

StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation

🥁🥁🥁 барабанная дробь

И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent

Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?

Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами

Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480

5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM

Код

#lipsync #portraitanimation #characteranimation #speech2video #avatar