Нейронавт | Нейросети в творчестве

Ada-TTA: Towards Adaptive High-Quality Text-to-Talking Avatar Synthesis

Бомбический генератор говорящих голов. Скармливаем ему короткий видео-референс, из которого он выучивает связь между речью и мимикой/позой. После этого он способен генерировать говорящую голову, вернее, теперь уже бюст, с любым заданным текстом. Да, попутно генерируется и речь по тексту.

К сожалению, у проекта даже нет сайта, только

Бумага

#video2avatar #talkinghead #facialanimation #humanavatar

650 views06:50

0:19

0:19

0:22

Real-time volumetric rendering of dynamic humans

В MetaAI придумали как быстро (3 часа против 72 часов у других существующих методов) воссоздать динамическую модель человека по одному видео чтобы рендерить ее в рилтайме. На мобилках рилтайм получается 40 кадров в секунду.

Скорость создания аватара достигается за счет параметрической болванки человека, которую, видимо, подстраивают индивидуально под персонажа с входного видео.

И похоже, что кодом делиться не хотят. Такая корова нужна самому

#videoto3D #video2avatar #humanavatar

👍3

756 views08:27

2:22

Media is too big

Relightable and Animatable Neural Avatar from Sparse-View Video

Создание анимируемых аватаров по видео с нескольких или с одного ракурса, с возможностью релайтинга.

Код обещают выложить

#video2avatar #humananimation #relighting

716 views11:57

2:00

FLARE: Fast Learning of Animatable andRelightable Mesh Avatars

Создание аватаров с высококачественной геометрией и внешним видом из одного видео. Пригодных для релайтинга и рендера традиционными движками.

Протестировано на 80GB A100 GPU и NVIDIA RTX A5000 24 GB

Код

#humanavatar #video2avatar #talkinghead #relighting

1.17K views11:36

6:20

Media is too big

D3GA - Drivable 3D Gaussian Avatars

Первая управляемая 3D-модель человеков с использованием гауссиан.

Благодаря гауссианам аватары рендерятся в реальном времени

Деформация аватаров основана на объемных каркасных деформациях и ключевых точках.

На вход нужны видео с нескольких ракурсов, далее получаем модель в виде композиции из 3D-гауссиан, встроенных в четырехгранные клетки. Гауссианы преобразуются этими клетками, раскрашиваются с помощью MLP (не спрашивайте что это такое, я не понял, но на видео его работа объяснена) и растеризуются в виде пятен. Аватар представлен в виде многослойного набора трехмерных гауссиан, что позволяет разложить аватар на различные слои ткани.

Среди авторов - Meta Reality Labs Research. Так что вы знаете, что разработка не из праздного интереса

Код обещают выложить

#humanavatar #humananimation #gaussian #video2avatar

😱4🔥3

1.3K viewsedited 07:11

0:12

Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

Гиперреалистичные управляемые 3д аватары в 2k на гауссианах

На вход нужно от 8 до 16 ракурсов в 2к

Код

#gaussian #video2avatar #humanavatar #talkinghead

😱7👍4

1.7K viewsedited 09:42

0:16

0:14

Animatable Gaussians: Learning Pose-dependent Gaussian Mapsfor High-fidelity Human Avatar Modeling

Анимируемые аватары человеков на гауссианах по исходному видео с нескольких ракурсов.
Из входного обучающего видео вытаскивает параметрические заготовки для вида спереди и со спины. Далее для динамического моделирования поз прикручен StyleGAN. Модель подстраивается под одежду, все дела.

И, конечно же,

Эксперименты показывают, что наш метод превосходит другие современные подходы

Код

#humanavatar #gaussian #videoto3D #video2avatar #poseto3D

🔥10🤯2

2.67K views09:13

Bridging the Gap: Studio-like Avatar Creation from a Monocular Phone Capture

Видео аватар студийного качества по одному видео со смартфона.
Под капотом StyleGAN2 карты лица и дифузия

Кода нет

#humanavatar #talkinghead #image2avatar #video2avatar

🔥3👍1

1.47K views08:59

0:29

0:30