Нейронавт | Нейросети в творчестве
9.41K subscribers
3.62K photos
3.14K videos
40 files
4.1K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
加入频道
MotionCLR: Motion Generation and Training-free Editing via Understanding Attention Mechanisms

Итеративная ИИ-анимация персонажей по тексту на основе механизма внимания.

Примеры:

Подчёркивание или ослабление движения. Если вы сначала создаёте движение с подсказкой «человек прыгает» и считаете, что высота прыжка выше, чем вам нужно, вы можете уменьшить вес «прыжка», чтобы удовлетворить свой запрос.

Генерация движения на примере. В цикле интерактивной генерации движения вы можете сгенерировать движение «удар ногой». Вы также можете сгенерировать множество движений, похожих на это (с той же текстурой движения). Например, исходное движение может быть ударом левой ногой, а новое движение может включать удар правой ногой.

Замена движения на месте. Предположим, вы хотите создать несколько движений, содержащих разные действия, выполняемые в одном и том же часовом поясе. Сначала вы можете синтезировать одно движение и редактировать текст, изменяя слова напрямую.


Код
Демо
Блог

#humananimation #characteranimation
👍5
One Shot, One Talk: Whole-body Talking Avatar from a Single Image

Реконструкция выразительного говорящего аватара в полный рост по одному изображению. Мимика, жестикуляция, все дела.
Под капотом гибридное представление аватара в виде 3DGS-меша

Код ждем

#humanavatar #humananimation #speech2video #talkinghead #gaussian
🔥91
StableAnimator: High-Quality Identity-Preserving Human Image Animation

Очередной аниматор персонажа по фото и образцу движения, сохраняющий идентичность персонажа. Под капотом SVD

Код

#humananimation #characteranimation #image2video #pose2video
👍6🔥51
This media is not supported in your browser
VIEW IN TELEGRAM
Meta Motivo

Первая модель для управления человекоподобными гуманоидными агентами, которая использует виртуальную физику для выполнения сложных задач. Она имитирует поведение человека, работает быстрее, чем методы, ориентированные на конкретные задачи, и превосходит современные методы обучения без учителя.

Блог
Демо

#humananimation #dynamics
👍31
Media is too big
VIEW IN TELEGRAM
3DHM: Synthesizing Moving People with 3D Control

Анимация персонажей в полный рост по одному изображению персонажа и образцу движения.

Новый оживлятор человеков в полный рост

Код ждем

#image2video #humananimation #pose2video
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Hallo3: Highly Dynamic and Realistic Portrait Image Animation with Diffusion Transformer Networks

Новое поколение липсинка от Baidu

Работает и с головными уборами.
Анимирует не только лицо но и фон.

Все потому что внутри претрейн Cogvideox-5b-i2v

Код
Веса

#lipsync #talkinghead #humananimation #portraitanimation
👍131👎1
AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

Нишевый оживлятор поясных портретов, негерит взаимодействие с небольшими предметами для создания видео презентатора-продажника

Код ждем

#humananimation #portraitanimation #image2video #pose2video
7👍2😐1
Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

Второе поколение нейронки от Tongyi Lab и Alibaba Group. Кода к первому так и нет.

Заменяет персонажа на видео по одному фото.

Кода нет и не стоит губу раскатывать

#image2video #humananimation #characteranimation #pose2video
🔥7🤷‍♂1
This media is not supported in your browser
VIEW IN TELEGRAM
TokenHSI: Unified Synthesis of Physical Human-Scene Interactions through Task Tokenization

унифицированная модель, которая позволяет персонажам, основанным на физике, выполнять разнообразные задачи взаимодействия человека со сценой. Для 3D персонажей и роботов

Код ждем

#HSI #humananimation
👍9
Media is too big
VIEW IN TELEGRAM
FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis

Говорящий аватар / оживлятор портретов от Alibaba с контролем интенсивности движения. работает с разными крупностями кадра и позами, с разными типами персонажей

Сравнение с конкурентами впечатляет.

Построен на базе Wan2.1

Код

#portraitanimation #image2video #speech2video #humananimation #lipsync #talkinghead
👍9
RealisDance: Equip controllable character animation with realistic hands

Оживлятор персонажей по образцу движения. Для богопротивных тиктоков должно подойти.

Но как же хорошо выглядят их видео, при том что файлам в репозитории уже по 5-7 месяцев. Я даже сомневаюсь что это мне показывают результаты, а не образцы движения

Умеет делать взаимодествие с предметами, стилизацию, необычные позы, сложные жесты и мультиперсонажку - есть примеры анимации двух персонажей

Позы и исходные картинки кодируются Wan-2.1 VAE

В коде ссылки на Open-Animate Anyone, Moore-Animate Anyone, MusePose.

Код

#image2video #humananimation #characteranimation #pose2video
🔥7👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Mirage Studio

Сервис говорящих аватаров от Captions уехал на отдельный сайт и дает бесплатно 600 кредитов, 1 секунда видео обойдется в 10 кредитов.

Создает видео говорящего блогера по тексту или аудио.
Можно настроить мимику, движения, эмоции, голос и фон

Попробовать

#humananimation #speech2video #humanavatar
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
Higgsfield Speak

Видеосервис Higgsfield тоже запустил аватары

Выберите стиль, выберите аватар, напишите сценарий. Сервис создаст кинематографичное движение, голос, эмоции.

Передает язык тела, эмоции и динамичное исполнение.

Вы получаете 16 встроенных типов сцен:

Vlog, Stream, Podcast, Car Talk, Coaching, Fashion, Beauty, Professions, Selling, Emotions, 3D, Forum и другие.
Каждый из них разработан для соответствия реальным форматам контента.

Можно создавать свои аватары

Идеально подходит для:

Библиотек рекламных роликов UGC.
Скетчей и форматов шоу.
Учебного и коучингового контента.
Каналов YouTube без лиц.
Клонов инфлюенсеров.
Вирусных видео с говорящими головами.

Higgsfield Speak доступен на тарифах Pro и Ultimate.

Напишите комментарий 'Speak' к официальному посту чтобы поклянчить промокод с туториалом

По промокоду SPEAK_DISCOUNT дают скидку 20% на 1 месяц
По промокоду SPEAK_EXTRA дают жалкие 15 кредитов на 3 генерации

#humananimation #speech2video #humanavatar
👍8👎1
MultiTalk: Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation

Новый липсинк. Модель для создания видео с диалогами на основе аудиозаписей.

- несколько говорящих
- до 15 секунд в 480p и 720p
- контроль персонажей текстом
- генерация мультфильмов и видео с пением и другими типами речи

Код
Веса 10 Гб
ComfyUI Kijai перед отпуском сделал
Колаб на A100

#Lipsync #potraitanimation #speech2video #comfyUI #humananimation
👍93😁2💩1