TEMPEH: Instant Multi-View Head Capture through Learnable Registration

Реконструкция головы в 3D за долю секунды. На вход нужно видео с нескольких камер. Выходной меш согласован во времени. TEMPEH может предсказывать выражения лица и положения головы, которых не было в исходном материале.

Код

#videoto3D #image2head #video2head #humanavatar #head

HeadSculpt: Crafting 3D Head Avatars with Text

Генератор/редактор 3D-голов-аватаров по тексту

Код обещают позже

#textto3D #3Davatar #head #text2avatar

Decaf: Monocular Deformation Capture for Face and Hand Interactions

Восстановление 3D головы и рук и их взаимодействия с деформациями по одному видео.

Код обещают выложить

Полное видео, 4 минуты

#videoto3D #talkinghead #humanavatar #head #hands #mocap

FaceLift: Single Image to 3D Head with View Generation and GS-LRM

Реконструкция человеческой головы по одному фото или по видео от Adobe.

В случае с видео модель обрабатывает каждый кадр и делает из них последовательность моделей, то есть некое 4D видео, где можно посмотреть на объект с любого ракурса

На презентационном видео это смотрится весьма палевно, в самом конце. Хотя для автара вполне сгодится если будет работать в реальном времени

Кроме этого предлагают комбинировать модель с Liveportrait для 3D анимации портрета

Код ждем или хз

#imageto3d #videoto4d #gaussian #head #humanhead #humanavatar

PERSE: Personalized 3D Generative Avatars from A Single Portrait

Анимируемый аватар головы на гауссианах по одному входному портрету с независимой настройкой параметров

Код ждем

#gaussian #head #avatar #facialanimation #image2avatar

Zero-1-to-A: Zero-Shot One image to Animatable Head Avatars Using Video Diffusion

Криповый аватар головы по одному портрету

Код будет здесь

#image2avatar #head #talkinghead

Появился демоспейс аватаризатора AvatarArtist

Демо

#image2avatar #head

Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars

Анимируемый 3D-аватар головы по 4 входным портретам за один прямой проход от Meta Reality Labs.

Создается за несколько минут, далее анимируется интерактивно, ~8fps на RTX 3090 GPU

Код ждем

Спасибо @m_franz

#head #image2avatar #talkinghead #gaussian

LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Анимируемые аватары по одному изображению на гауссианах от Alibaba.

Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах

Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить

#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video