AnimateDiff - это последний прорыв в генерации видео из текста.

Такой стабильности прямо из коробки я пока не видел и уж точно сам не получал. Каждая гифка генерилась у меня примерно 5 минут на колабе. Люди сообщают, что на 4090 генерится за минуту.

Сразу скажу, что хотя модель оптимизировали с 42 гб, ей все еще нужно минимум 12 гб для работы, и пока точно никто не сказал, хватает ли ровно 12, или нужен ли запас, 16 и больше. Инструкции на гитхабе для винды не подходят, если имеете соответствующую видюху, надо сразу топать в issues и читать там, у кого как получилось, имейте в виду, что после команды гита скачать репо стейбл диффьюжн, надо ждать очень долго, он не завис, просто там 25 гигов.

Проще всего пока что запустить на этом колабе. На эту модель не распространяются ограничения, потому что у нее нет графического интерфейса. Это тоже немного усложняет освоение, но все же колаб проще, чем ставить локально. Промпты лежат в папке animatediff/configs/prompts/ лучше сразу перед первым запуском отредактировать файл 2-Lyriel.yaml и вписать там свои промпты. Можно разкомментить соответствующие строчки в ячейках колаба, чтобы скачать другие модели. Подходят модели от обычного SD 1.5, так что можно загрузить (или скачать с Civitai) и свою любимую.

Как я и ожидал, очень быстро вышло расширение AnimateDiff для Auto1111. Уже пару дней его тестирую.

Хорошие новости:
- Работает на 12 гб видеопамяти. 4070ti генерит по гифке в минуту, где-то в 5 раз быстрее, чем на бесплатном колабе.
- Можно использовать любые чекпоинты, лоры, контролнеты и т.д., в общем любые инструменты, которые нормально работают с batch size > 1.
- Почему-то работает оптимизация SDP, благодаря чему, видимо, и генерится быстро и не кончается видеопамять. Оптимизация через xformers пока не работает.

Плохие новости:
- Качество генерации намного хуже, чем на колабе по трем параметрам. Во-первых, на всех картинках присутствует небольшое мигание по яркости, в результатах с колаба ни разу такого не ловил. Во-вторых, контраст всех картинок заметно ниже. В-третьих, все анимации намного более статичные. В результатах с колаба намного больше движения. Здорово, если бы параметр динамичности можно было регулировать, кстати говоря.
Результаты можно сравнить с предыдущим постом. Автор аддона говорит, что проблема в том, что в Авто1111 иначе происходят некоторые подкапотные процессы, из-за чего возникает такая большая разница. Надеюсь, тут ничего такого, что нельзя было бы починить, чтобы приблизиться к официальной имплементации.

Кстати, к официальному AnimateDiff прикрутили в тестовом режиме интерфейс Gradio, что удобнее чем редактировать файлы и пользоваться командной строкой, но пока работает не очень, не говоря о том, что вразумительной инструкции по установке так и нет, а та, что есть, предлагает скачать 70 гб, которые на самом деле не нужны.

В общем, пока ждем (примерно 2 дня) улучшений и пока пользуемся хорошим колабом. Автор его допилил, в нем стало намного проще разобраться, и теперь генерировать видео может вообще каждый, без каких-то углубленных знаний или мощного железа. Рекомендую всем попробовать, это достаточно просто и весело.