Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency

Оживлятор потрета по речи и пению от Bytedance

Кода нет и неизвестно будет ли

#speech2video #facialanimation #talkinghead

URAvatar: Universal Relightable Gaussian Codec Avatars

Портретный аватар на гауссианах. На вход достаточно подать "телефонный скан" - что это? фотограмметрия? скан с лидара? видео с разных ракурсов?

Ну и дальше в реальном времени можно управлять анимацией и освещением

Кода нет

#humanavatar #gaussian #facialanimation #headanimation #talkinghead

FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait

Оживлятор портретов по звуку речи с контролем эмоций

Код ждем

#talkinghead #speech2video #facialanimation

One Shot, One Talk: Whole-body Talking Avatar from a Single Image

Реконструкция выразительного говорящего аватара в полный рост по одному изображению. Мимика, жестикуляция, все дела.
Под капотом гибридное представление аватара в виде 3DGS-меша

Код ждем

#humanavatar #humananimation #speech2video #talkinghead #gaussian

INFP: Audio-Driven Interactive Head Generation in Dyadic Conversations

Bytedance продолжают изобретать способы оживлять картинки

Интерактивная генерация головы на основе звука для диадических (парных) разговоров

Получив две дорожки диалога и одно портретное изображение произвольного агента, INFP динамически синтезирует вербальные, невербальные и интерактивные видео агента с реалистичной мимикой и ритмичными движениями позы головы.

Короче, заставит портрет говорить, петь, человечно слушать

Работает в реальном времени, 40 fps на Nvidia Tesla A10
Применимо например для видеоконференций

Код ждем

#audio2video #talkinghead #image2video #portraitanimation #realtime