FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

Оживлятор портретов по звуку речи с контролем эмоций

Код ждем

#talkinghead #speech2video #facialanimation

One Shot, One Talk: Whole-body Talking Avatar from a Single Image

Реконструкция выразительного говорящего аватара в полный рост по одному изображению. Мимика, жестикуляция, все дела.
Под капотом гибридное представление аватара в виде 3DGS-меша

Код ждем

#humanavatar #humananimation #speech2video #talkinghead #gaussian

INFP: Audio-Driven Interactive Head Generation in Dyadic Conversations

Bytedance продолжают изобретать способы оживлять картинки

Интерактивная генерация головы на основе звука для диадических (парных) разговоров

Получив две дорожки диалога и одно портретное изображение произвольного агента, INFP динамически синтезирует вербальные, невербальные и интерактивные видео агента с реалистичной мимикой и ритмичными движениями позы головы.

Короче, заставит портрет говорить, петь, человечно слушать

Работает в реальном времени, 40 fps на Nvidia Tesla A10
Применимо например для видеоконференций

Код ждем

#audio2video #talkinghead #image2video #portraitanimation #realtime

Humva: Your Easiest Go-To Avatar Tool

Простейший, как заявлено в названии, инструмент для создания аватара. Хорошо говорит по-русски

В топе на Producthunt

Проверил, он довольно капризный. Аватар создается за 5-10 минут. Если создастся вообще. Закидываем фото, выбираем тему и окружение, голос и ждем.
Или можно выбрать один из готовых аватаров.

При попытке создать аватар из фото знаменитостей может выдать ошибку, и второго шанса создать свой аватар не даст. Но Юра Борисов, видимо не настолько знаменит

И не факт что ваш аватар сможет быть полезен. Мой кастомный аватар долго не мог ничего сказать на русском все время ошибка. Хотя голос стандартный, с библиотечными аватарами работает. Видимо, текст слишком длинный

Бесплатно можно создать 4 говорящих видео по 30 секунд. На вход можно подать текст, а можно готовое аудио с речью

#voicecloning #humanavatar #talkinghead #portraitanimation #facialanimation #text2speech #tts #image2avatar

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

Оживлятор портретов звуком от Alibaba. Пение, речь, танцы рук

Напоминаю, что кода EMO за прошедший год мы так и не дождались

Код ждем

#audio2video #speech2video #talkinghead #portrainanimation

OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

ByteDance снова что-то анимируют

Оживлятор человеческих (и не только) портретов любой крупности (лицо, поясной, полный рост) и соотношения сторон. Анимирует как фото, так и рисунки.

На вход помимо собственно портрета нужен сигнал для извлечения движения: звук, видео или их комбинация

Выглядит круто,
Кода нет

#portraitanimation #audio2video #audio2motion #motion2video #talkinghead #lipsync

Video Motion Graphs

Переанимация видео.
Модель берет кадры вашего видео и переставляет их чтобы получить нужное движение под заданную музыку. А недостающие достраивает.
Можно задать конкретные движения.

Работает как с танцами, так и с говорящей головой с руками. В этом случае на вход подается речь как я понял.

Код ждем. Кстати, это Adobe

#video2video #pose2video #talkinghead #music2video #speech2video

Sparrow-0: Advancing Conversational Responsiveness in Video Agents with Transformer-Based Turn-Taking

Видео-ассистент от Tavus, который понимает когда его очередь говорить, не полагаясь на молчание собеседника. Таким образом устраняются раздражающие паузы

Здесь можно создать говорящий аватар, есть библиотека аватаров, называются Replica

Sparrow-0 обучен на базе BERT и поддерживает более 100 языков.

Есть бесплатный тариф

#assistant #voicemode #talkinghead #humanavatar

Hunyuan Video Avatar

Видеоаватар с контролем эмоций от Tencent
Оживляет персонажа по голосу. Речь может сгенерить сам по тексту. На выбор несколько голосов

Модель прожорливая: минимум 24 ГБ VRAM для 704x768, а для плавного 4K рекомендуют GPU на 96 ГБ.

Код
Попробовать - на китайском офсайте. Одна секунда Илона Маска генерилась несколько минут
Веса

#lipsync #characteranimation #speech2video #talkinghead #portrainanimation

MoDA: Multi-modal Diffusion Architecture for Talking Head Generation

Оживлятор портретов по звуку с контролем эмоций от Alibaba

Умеет делать длинные видео, в примерах есть 4 минуты
Шевелит только голову.
Зубы шакалит, в остальном сойдет

Код
HF
Демо 1
Демо 2
Демо 3

#talkinghead #portraitanimation #speech2video