Крупное обновление получил видеогенератор Dream Machine
Теперь это рабочая среда, комбайн технологий.
Авторы предлагают начинать творческий процесс с генерации картинок.

Да, у них появился свой картинкогенератор Luma Photon
В картинки можно вносить изменения, делать из них видео. Для видео задавать первый и последний кадр, движение камеры. Удлинять (Extend), задавая конечный кадр.
Brainstorm - генератор идей
И это кажется еще не все

Официальный туториал

#text2image #text2video #image2video #videoediting #imageediting #online #tutorial #cameracontrol #videoextension

NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images

По одному или нескольким изображениям-ракурсам сцены генерирует новые ракурсы и из них - видео

Черрипик и нечеррипик

Код ждем на днях
Демо

#novelview #cameracontrol #image2video

Go with the Flow

Контроль движения на генерации видео за счет геометрического искажения шума

Код
Веса
Видео (4 минуты)
Видео туториал

#motioncontrol #motiontransfer #cameracontrol

GEN3C: 3D-Informed World-Consistent Video Generation with Precise Camera Control

NVIDIA дообучили Cosmos - получили видеогенератор по картинке с точным управлением камерой и временнОй согласованностью в 3D за счет 3D-кэша

Траекторию камеры можно настраивать интерактивно

Код ждем

#image2video #cameracontrol

TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models

Еще похожий прошлогодний проект, управление камерой упихано в набор пресетов.
Зато можно попробовать

Код
Демо

Спасибо @SakurakoujiLuna

#cameracontrol #video2video #novelview

ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

Изменяем траекторию камеры для видео, получаем то же видео с другого ракурса.

Применимо для 4D реконструкций, стабилизации видео, обучения роботов и автопилотов

Код ждем (но это неточно)
Демо - сюда загружаем свое видео, ждем пока его обработают и пришлют вам на почту.

Варианты движения камеры такие:

1 Pan Right
2 Pan Left
3 Tilt Up
4 Tilt Down
5 Zoom In
6 Zoom Out
7 Translate Up (with rotation)
8 Translate Down (with rotation)
9 Arc Left (with rotation)
10 Arc Right (with rotation)

#cameracontrol #novelview #video2video #stabilization