Как я и ожидал, очень быстро вышло расширение AnimateDiff для Auto1111. Уже пару дней его тестирую.

Хорошие новости:
- Работает на 12 гб видеопамяти. 4070ti генерит по гифке в минуту, где-то в 5 раз быстрее, чем на бесплатном колабе.
- Можно использовать любые чекпоинты, лоры, контролнеты и т.д., в общем любые инструменты, которые нормально работают с batch size > 1.
- Почему-то работает оптимизация SDP, благодаря чему, видимо, и генерится быстро и не кончается видеопамять. Оптимизация через xformers пока не работает.

Плохие новости:
- Качество генерации намного хуже, чем на колабе по трем параметрам. Во-первых, на всех картинках присутствует небольшое мигание по яркости, в результатах с колаба ни разу такого не ловил. Во-вторых, контраст всех картинок заметно ниже. В-третьих, все анимации намного более статичные. В результатах с колаба намного больше движения. Здорово, если бы параметр динамичности можно было регулировать, кстати говоря.
Результаты можно сравнить с предыдущим постом. Автор аддона говорит, что проблема в том, что в Авто1111 иначе происходят некоторые подкапотные процессы, из-за чего возникает такая большая разница. Надеюсь, тут ничего такого, что нельзя было бы починить, чтобы приблизиться к официальной имплементации.

Кстати, к официальному AnimateDiff прикрутили в тестовом режиме интерфейс Gradio, что удобнее чем редактировать файлы и пользоваться командной строкой, но пока работает не очень, не говоря о том, что вразумительной инструкции по установке так и нет, а та, что есть, предлагает скачать 70 гб, которые на самом деле не нужны.

В общем, пока ждем (примерно 2 дня) улучшений и пока пользуемся хорошим колабом. Автор его допилил, в нем стало намного проще разобраться, и теперь генерировать видео может вообще каждый, без каких-то углубленных знаний или мощного железа. Рекомендую всем попробовать, это достаточно просто и весело.

SDXL вышла ровно неделю назад, все это время я думал что бы хорошее про нее написать. Но сегодня я увидел то, что без преувеличения меня потрясло.

Начинают постепенно выходить модели и лоры дообученные на ее основе. Например, лора Pixel Art XL делает картинки, которые правда почти неотличимы от настоящего пиксель арта.

Объясняю, в чем прорыв. Пиксель арт отличает прежде всего одинаковый размер пикселя, даже если картинка увеличена. У всех предыдущих подобный моделей были с этим большие проблемы все пиксели сильно плясали по размерам. Могли быть тонкие и длинные "пиксели", например. Даже эта лора таким иногда может грешить, и чтобы отловить подобное я пропустил большинство картинок из поста через фотошоп, сначала уменьшив в 8 раз, потом обратно увеличив. Визуально они при этом почти не поменялись. Но 2 картинки я достал прямо из нейронки, ничего с ними не делал. Сможете ли вы их отличить?

Второй фактор, почему это прорыв. Эта небольшая модель показывает настоящий потенциал SDXL в том, насколько хорошо она поддается дрессировке в виде дообучения на нужном материале. И это тут главное.

К сожалению, SDXL пока лучше всего работает не с интерфейсом Automatic1111, а ComfyUI. Конечно, он может показаться немного непривычным, но кто в Блендере работал, того нодами не напугать. Постепенно начинаешь ощущать, чем он comfy. Например, можно просто перетащить в него картинку и сразу воспроизведется весь workflow, с помощью которого она была создана.

Nvidia выпустила новую нейронку.

Кроме того, спустя почти 3 года после своего выхода наконец-то вышел Cyberpunk 2077.

Эти две новости связаны тем, что новая нейросеть Nvidia пока существует в виде опции в настройках графики Киберпанка версии 2.0.

DLSS Ray Regeneration представляет собой нейро-денойзер, который позволяет из сцен с очень примерными RT лучами быстро получать красивую картинку. Напоминает Cycles + Denoise в Блендере.

Выход большого дополнения Phantom Liberty будет только через несколько дней, а пока можно покрутить настроечки, добавленные в новом патче.

Предыдущей бомбой от Nvidia была генерация промежуточных кадров в DLSS 3, которая "бесплатно" давала целую кучу FPS (при условии покупки дорогущей 40XX видюхи). Загвоздка была в том, что эта технология не уменьшает Input Lag, а даже немного увеличивает его. Иными словами, даже если игра выдает 140 фпс, игрок видит результат своих действий только с задержкой в несколько кадров.

Ray Reconstruction выдает результат близкий по производительности к DLSS Quality. Прирост производительности не гигантский, но главная фишка в том, что Ray Reconstruction рисует совершенно другую, и лучшую картинку, чем просто DLSS. При этом не повышает задержку, потому что она не наслаивается на DLSS в отличие от генерации кадров, а как бы заменяет его.

В общем, мой вердикт: новая штука от Nvidia дает очень красивую картинку, которую трудно сравнить с какой-то существующей технологией риалтайм рендера, и при этом обеспечивает играбельный FPS и условно-приемлемый инпут-лаг на экспериментальных настройках графики. Еще один шаг к рей трейсингу, пригодному для повсеместного применения, и в перспективе шаг к тому, чтобы графику в играх полностью рисовали нейросети.


Пока DLSS, Ray Regeneration, и подобные технологии требуют отрендеренный кадр, на котором они могут творить свою магию. А представьте, если бы они работали в режиме Data2Img, т.е. получали данные о том, что сейчас происходит в игре, и рисовали кадры исходя только из этого. Думаю, в будущем так и будет.