божечки, это прекрасно

Должен сказать, это офигительный инструмент для накидывания музыкальных идей. Нужно чтобы оно умело продолжать заданный отрывок

LAMP: Learn A Motion Pattern for Few-Shot-Based Video Generation

генератор видео по тексту. Генерит в два этапа: сначала генерит первый кадр, потом предсказывает движение. (А разве не все генераторы так делают?)

Редактировать видео тоже умеет, но при замене фона искажает и передний план, примеры на сайте

Код, пока без весов. Но особо буйные смогут обучить свой претрейн

#text2video

YandexART и Video-Kandiskiy

Яндекс и Сбер выкатили по генератору видео.
YandexART работает в приложении Шедеврум и Яндекс.Бизнес, Кандинский - в телеге
Не буду рассусоливать, пробуйте сами по ссылкам выше. Котики из Шедеврума

#text2video

FreeU : Free Lunch in Diffusion U-Net

Ну и раз открыл тему про ускорение инференса, пора упомянуть этот активно развивающийся проект. Улучшение и ускорение генерации изображений и видео без дообучения и лишних телодвижений.

Код
Демо

#text2image #text2video #optimization

Там Nvidia выпустили расширение и новый драйвер под Stable Diffusion, позволяющие получить до x2 прироста в генерациях за счёт использования тензорных ядер в видеокартах серий RTX.

Скачать само расширение можно тут: Github

По требованиям:
- Видеокарта RTX (RTX 20xx, 30xx, 40xx) на 8 Gb видеопамяти
- Установленный драйвер 537.58 и старше
- от 16 гигабайт RAM

Подробнее об установке и настройке можно прочесть в официальном гайде от Nvidia

Кто-то собрал неофициальную имплементацию RealFill

Код (неофициальный)

#image2image #inpainting #outpainting