Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

Сегодня пройдемся по головам.
Реконструкция аватара головы по нескольким ракурсам, вместе с мимикой и деформациями. В деле замешаны гауссианы.
На выходе - рендер разрешением 2К, не без помощи апскейлера. Но вы его тут видите?

Код ждем есть

#gaussian #image2head #rendering #imageto3D #head

GAIA: Zero-shot Talking Avatar Generation

Теперь разработка Microsoft.
Говорящая голова. На вход нужна одна картинка и звук речи. Можно управлять позой, подать на вход управляющее видео или текст. А что еще можно придумать для управления говорящей головой?

Код ждем

#talkinghead #humananimation #humanavatar #image2head #image2video #head

Diffusion AvatarsDeferred Diffusion for High-fidelity 3D Head Avatars

Управляемый аватар головы с реалистичной мимикой.
Анимацей управляет управляющее видео или параметрическая модель (NPHM).
Diffusion Avatars обучали на датасете голов, снятых 16 камерами с разных ракурсов. Предположительно, для того чтобы использовать Diffusion Avatars на своих задачах, понадобится или многоракурсный датасет или соответствующий набор 3D данных.

[Update] Код
Полное видео, 3 минуты

#talkinghead #humananimation #humanavatar #image2head #image2video #head

VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads

Реконструкция 3d сетки головы по изображению.
Вообще-то это датасет, но присутствует и код, и демо, и контролнет. То есть, генерить головы тоже можно, должно быть точнее чем с OpenPose.
Я только не понял как из него получить собственно меш, а не картинку меша

Код
Демо
ControlNet Head Mesh SDXL

#controlnet #imageto3D #image2pose #image2head #pose2image