GAN'ы, сдавшие за последний год позиции под натиском диффузии и nerf'ов, возвращаются.

3DAvatarGAN
Персонализированные 3D аватары с возможностью редактирования.
- стилизация в разных доменах
- анимация
- контроль выражения лица
- редактирование отдельных черт лица/волос

Код обещают позже

#image2avatar #talkinghead #imageto3D #facialanimation #3Davatar

STYLEGANEX - манипуляции с лицом.
Недавно я писал про похожий проект 3DAvatarGAN. И вот опять GAN.

- редактирование лиц
- редактирование видео
- апскейл/суперрезолюшн (увеличение детализации)
- генерация лиц по наброску и по маскам
- стилизация

Код
Колаб

#facialanimation #avatar #talkingface #image2video #image2avatar #talkinghead #facialanimation

FaceLit: Neural 3D Relightable Faces
А вот и Apple подтянулась.

FaceLit генерирует 3D-лица из обычных фото. А в этих готовых 3D-портретах можно играться с освещением, меняя источник света.

Код

#relighting #image2face #imageto3D #image2avatar #3Davatar

BlendFields: Few-Shot Example-Driven Facial Modeling

Коротко говоря, #NeRF обучили по нескольким ракурсам восстанавливать анимируемые лица. С мелкими деталями и деформациями, делающими результат более реалистичным. На видео они показывают полигональную сетку, интересно откуда такая сетка, неужели сгенерированная? Среди авторов Microsoft, Google BRAIN и прочие

Кода нет, демо нет

#image2face #imageto3D #image2avatar #facialanimation

Human-SGD: Single-Image 3D Human Digitization with Shape-Guided Diffusion

Реконструкция 3D модели человека по одному изображению.

Генерируют недостающие ракурсы 2D диффузией, потом собирают по ним 3D модель - текстурированную сетку.

Код обещают выложить

#imageto3D #image2avatar #humanavatar

Humva: Your Easiest Go-To Avatar Tool

Простейший, как заявлено в названии, инструмент для создания аватара. Хорошо говорит по-русски

В топе на Producthunt

Проверил, он довольно капризный. Аватар создается за 5-10 минут. Если создастся вообще. Закидываем фото, выбираем тему и окружение, голос и ждем.
Или можно выбрать один из готовых аватаров.

При попытке создать аватар из фото знаменитостей может выдать ошибку, и второго шанса создать свой аватар не даст. Но Юра Борисов, видимо не настолько знаменит

И не факт что ваш аватар сможет быть полезен. Мой кастомный аватар долго не мог ничего сказать на русском все время ошибка. Хотя голос стандартный, с библиотечными аватарами работает. Видимо, текст слишком длинный

Бесплатно можно создать 4 говорящих видео по 30 секунд. На вход можно подать текст, а можно готовое аудио с речью

#voicecloning #humanavatar #talkinghead #portraitanimation #facialanimation #text2speech #tts #image2avatar

AvatarArtist: Open-Domain 4D Avatarization

Создает 4D аватар по одному портрету
От авторов Follow-Your-Emoji

Код
Демо ждем

#image2avatar #head

Hedra Live Avatars

Аватары в реальном времени от Hedra
За болтовню на том конце отвечают Gemini, ElevenLabs или OpenAI

Попробовать если у вас есть кредиты

#avatar #realtime #voicemode #image2avatar