NVIDIA продолжает тащить прогресс
RANA: Relightable Articulated Neural Avatars
Показываем ей тернтейбл персонажа (думаю, десяток-два фото со всех сторон тоже сработает), задник. На выходе получаем анимацию с релайтингом
#avatar #animation #airelight #relighting
RANA: Relightable Articulated Neural Avatars
Показываем ей тернтейбл персонажа (думаю, десяток-два фото со всех сторон тоже сработает), задник. На выходе получаем анимацию с релайтингом
#avatar #animation #airelight #relighting
🔥2
IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis
Новая штуковина для редактирования/анимации говорящих голов и просто лиц.
- интерактивное редактирование семантическими масками
- интерактивное рисование семантическими масками
- стилизация в 3D домене
- анимация с учетом 3D
Есть код
#facialanimation #avatar #talkingface #image2video
Новая штуковина для редактирования/анимации говорящих голов и просто лиц.
- интерактивное редактирование семантическими масками
- интерактивное рисование семантическими масками
- стилизация в 3D домене
- анимация с учетом 3D
Есть код
#facialanimation #avatar #talkingface #image2video
🔥1
STYLEGANEX - манипуляции с лицом.
Недавно я писал про похожий проект 3DAvatarGAN. И вот опять GAN.
- редактирование лиц
- редактирование видео
- апскейл/суперрезолюшн (увеличение детализации)
- генерация лиц по наброску и по маскам
- стилизация
Код
Колаб
#facialanimation #avatar #talkingface #image2video #image2avatar #talkinghead #facialanimation
Недавно я писал про похожий проект 3DAvatarGAN. И вот опять GAN.
- редактирование лиц
- редактирование видео
- апскейл/суперрезолюшн (увеличение детализации)
- генерация лиц по наброску и по маскам
- стилизация
Код
Колаб
#facialanimation #avatar #talkingface #image2video #image2avatar #talkinghead #facialanimation
This media is not supported in your browser
VIEW IN TELEGRAM
PERSE: Personalized 3D Generative Avatars from A Single Portrait
Анимируемый аватар головы на гауссианах по одному входному портрету с независимой настройкой параметров
Код ждем
#gaussian #head #avatar #facialanimation #image2avatar
Анимируемый аватар головы на гауссианах по одному входному портрету с независимой настройкой параметров
Код ждем
#gaussian #head #avatar #facialanimation #image2avatar
👍5🎃1
HeyGem
Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться
- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +
Код
#lipsync #humanavatar #vocecloning #avatar #
Опенсорсная альтернатива HeyGen. Ну можно было и по названию догадаться
- Аватар в 4K по отрывку видео 1 секунда (???)
- Клонирование лица и голоса
- Запускается на 1080Ti +
Код
#lipsync #humanavatar #vocecloning #avatar #
😐8🔥7👍3
Hedra Live Avatars
Аватары в реальном времени от Hedra
За болтовню на том конце отвечают Gemini, ElevenLabs или OpenAI
Попробовать если у вас есть кредиты
#avatar #realtime #voicemode #image2avatar
Аватары в реальном времени от Hedra
За болтовню на том конце отвечают Gemini, ElevenLabs или OpenAI
Попробовать если у вас есть кредиты
#avatar #realtime #voicemode #image2avatar
👍3❤1👎1🤔1
StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation
🥁🥁🥁 барабанная дробь
И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent
Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?
Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами
Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480
5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM
Код
#lipsync #portraitanimation #characteranimation #speech2video #avatar
🥁🥁🥁 барабанная дробь
И у нас еще один оживлятор картинок по звуку от Microsoft Research Asia, Hunyuan, Tencent
Много примеров с пением, видимо фокус на эту нишу. Но есть и просто речь.
Обещают неограниченный по длительности оживляж с сохранением идентичности персонажа.
Мне кажется или липсинк не такой уж и синк, не попадает в речь?
Ну и конечно есть видео превосходства над #SOTA моделями-конкурентами
Построен на базе Wan2.1-1.3B
Разрешение: 512x512, 480x832, 832x480
5-секундное видео (480x832, fps=25) генерируется 3 минуты на 4090 и требует 18GB VRAM
Код
#lipsync #portraitanimation #characteranimation #speech2video #avatar
👍6🔥4❤1
This media is not supported in your browser
VIEW IN TELEGRAM
OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье🤩
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Новая версия оживлятора от ByteDance, снова без кода
На вход подаем картинку и аудиозапись речи. На выходе - видео
Модель использует теорию когнитивного мышления «Система 1 и Система 2», объединяя мультимодальную языковую модель и диффузионный трансформер для имитации двух режимов мышления: медленного, обдуманного планирования и быстрого, интуитивного реагирования.
— согласует анимацию с ритмом, просодией и семантическим содержанием речи
— Контроль генерации, движения камеры и конкретных действий через текстовые промпты
— Умеет создавать мультиперсонажные сцены, сам распределяет аудиодорожки
Такое добро — и только посмотреть. Это так несправедливо. Какое несчастье
#lipsync #speech2video #characteranimation #portraitanimation #avatar #research
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10