Emu3: Next-Token Prediction is All You Need

Новый набор современных мультимодальных моделей от китайцев. Короче говоря, генератор-пониматор изображений и видео. Недиффузный, генерирует предсказывая следующий токен, то есть, мог бы работать быстрее чем диффузные генераторы, но нет - 13 минут на одну картинку на H100
Умеет продлевать видео, может имитировать некоторые аспекты окружающей среды, людей и животных в физическом мире.

Код
Демо

#text2image #text2video #video2video #videoextension

Крупное обновление получил видеогенератор Dream Machine
Теперь это рабочая среда, комбайн технологий.
Авторы предлагают начинать творческий процесс с генерации картинок.

Да, у них появился свой картинкогенератор Luma Photon
В картинки можно вносить изменения, делать из них видео. Для видео задавать первый и последний кадр, движение камеры. Удлинять (Extend), задавая конечный кадр.
Brainstorm - генератор идей
И это кажется еще не все

Официальный туториал

#text2image #text2video #image2video #videoediting #imageediting #online #tutorial #cameracontrol #videoextension