HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

Это не генератор мемов, как можно заключить по названию, а очередной опенсорсный инструмент для переноса портретной анимации.

Работает ли оно только на SD1.5 (с лорами, кстати) или с более новыми генераторами картинок тоже - непонятно

Обратите внимание на заявленное превосходство над Liveportrait

Код

#pose2video #facialanimation #portrait2video #personalization

StableAnimator: High-Quality Identity-Preserving Human Image Animation

Очередной аниматор персонажа по фото и образцу движения, сохраняющий идентичность персонажа. Под капотом SVD

Код

#humananimation #characteranimation #image2video #pose2video

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

Нишевый оживлятор поясных портретов, негерит взаимодействие с небольшими предметами для создания видео презентатора-продажника

Код ждем

#humananimation #portraitanimation #image2video #pose2video

Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

Второе поколение нейронки от Tongyi Lab и Alibaba Group. Кода к первому так и нет.

Заменяет персонажа на видео по одному фото.

Кода нет и не стоит губу раскатывать

#image2video #humananimation #characteranimation #pose2video

Video Motion Graphs

Переанимация видео.
Модель берет кадры вашего видео и переставляет их чтобы получить нужное движение под заданную музыку. А недостающие достраивает.
Можно задать конкретные движения.

Работает как с танцами, так и с говорящей головой с руками. В этом случае на вход подается речь как я понял.

Код ждем. Кстати, это Adobe

#video2video #pose2video #talkinghead #music2video #speech2video

RealisDance: Equip controllable character animation with realistic hands

Оживлятор персонажей по образцу движения. Для богопротивных тиктоков должно подойти.

Но как же хорошо выглядят их видео, при том что файлам в репозитории уже по 5-7 месяцев. Я даже сомневаюсь что это мне показывают результаты, а не образцы движения

Умеет делать взаимодествие с предметами, стилизацию, необычные позы, сложные жесты и мультиперсонажку - есть примеры анимации двух персонажей

Позы и исходные картинки кодируются Wan-2.1 VAE

В коде ссылки на Open-Animate Anyone, Moore-Animate Anyone, MusePose.

Код

#image2video #humananimation #characteranimation #pose2video

MTVCrafter: 4D Motion Tokenization for Open-World Human Image Animation

Оживлятор персонажей по образцу движения

Код
Веса
Веса на основе CogVideoX-5B и Wan-2.1-14B - ждем

#characteranimation #pose2video

Brie's FramePack Lazy Repose workflow

Управляем позой в FramePack

+ еще какие-то воркфлоу для WAN и VACE

#pose2video #image2video #workflow

Seaweed APT2

Интерактивная модель генерации потокового видео по картинке в рилтайме от ByteDance, второе поколение. Первое было в январе

1 минута видео ,1 шаг, 24 кадра в секунду, потоковое разрешение 736x416 (эквивалент 640x480 - что???) в режиме реального времени на 1xh100 с интерактивным управлением!

Контроль позы, контроль камеры

Кода нет, ждем на сервисах

#image2video #realtime #cameracontrol #pose2video #posecontrol

PERSONA: Personalized Whole-Body 3D Avatar with Pose-Driven Deformations from a Single Image

Полный 3D аватар человека по одной картинке, управляемый позой - переносом движения с образца.

Код

Спасибо @m_franz

#humanavatar #characteranimation #pose2video