Как я и ожидал, очень быстро вышло расширение AnimateDiff для Auto1111. Уже пару дней его тестирую.

Хорошие новости:
- Работает на 12 гб видеопамяти. 4070ti генерит по гифке в минуту, где-то в 5 раз быстрее, чем на бесплатном колабе.
- Можно использовать любые чекпоинты, лоры, контролнеты и т.д., в общем любые инструменты, которые нормально работают с batch size > 1.
- Почему-то работает оптимизация SDP, благодаря чему, видимо, и генерится быстро и не кончается видеопамять. Оптимизация через xformers пока не работает.

Плохие новости:
- Качество генерации намного хуже, чем на колабе по трем параметрам. Во-первых, на всех картинках присутствует небольшое мигание по яркости, в результатах с колаба ни разу такого не ловил. Во-вторых, контраст всех картинок заметно ниже. В-третьих, все анимации намного более статичные. В результатах с колаба намного больше движения. Здорово, если бы параметр динамичности можно было регулировать, кстати говоря.
Результаты можно сравнить с предыдущим постом. Автор аддона говорит, что проблема в том, что в Авто1111 иначе происходят некоторые подкапотные процессы, из-за чего возникает такая большая разница. Надеюсь, тут ничего такого, что нельзя было бы починить, чтобы приблизиться к официальной имплементации.

Кстати, к официальному AnimateDiff прикрутили в тестовом режиме интерфейс Gradio, что удобнее чем редактировать файлы и пользоваться командной строкой, но пока работает не очень, не говоря о том, что вразумительной инструкции по установке так и нет, а та, что есть, предлагает скачать 70 гб, которые на самом деле не нужны.

В общем, пока ждем (примерно 2 дня) улучшений и пока пользуемся хорошим колабом. Автор его допилил, в нем стало намного проще разобраться, и теперь генерировать видео может вообще каждый, без каких-то углубленных знаний или мощного железа. Рекомендую всем попробовать, это достаточно просто и весело.

SDXL вышла ровно неделю назад, все это время я думал что бы хорошее про нее написать. Но сегодня я увидел то, что без преувеличения меня потрясло.

Начинают постепенно выходить модели и лоры дообученные на ее основе. Например, лора Pixel Art XL делает картинки, которые правда почти неотличимы от настоящего пиксель арта.

Объясняю, в чем прорыв. Пиксель арт отличает прежде всего одинаковый размер пикселя, даже если картинка увеличена. У всех предыдущих подобный моделей были с этим большие проблемы все пиксели сильно плясали по размерам. Могли быть тонкие и длинные "пиксели", например. Даже эта лора таким иногда может грешить, и чтобы отловить подобное я пропустил большинство картинок из поста через фотошоп, сначала уменьшив в 8 раз, потом обратно увеличив. Визуально они при этом почти не поменялись. Но 2 картинки я достал прямо из нейронки, ничего с ними не делал. Сможете ли вы их отличить?

Второй фактор, почему это прорыв. Эта небольшая модель показывает настоящий потенциал SDXL в том, насколько хорошо она поддается дрессировке в виде дообучения на нужном материале. И это тут главное.

К сожалению, SDXL пока лучше всего работает не с интерфейсом Automatic1111, а ComfyUI. Конечно, он может показаться немного непривычным, но кто в Блендере работал, того нодами не напугать. Постепенно начинаешь ощущать, чем он comfy. Например, можно просто перетащить в него картинку и сразу воспроизведется весь workflow, с помощью которого она была создана.