Выдалась минутка, и я поверхностно потестил Kandinski 2.1 от Сбера, через сайт https://fusionbrain.ai/diffusion

Что могу сказать? Результаты интересные. Конечно, до Стейбла с прокачанными чекпойнтами не дотягивает по многим статьям, а на сайте вообще минимальный функционал: только промпт и аутпейнт (лучше бы сделали просмотр батчей и настройки нормальные, честное слово). Так что пока использование в каких-то реальных проектах под сомнением. Но в целом я рад за ребят и поздравляю их с релизом!

Если они сделают удобную и расширяемую оболочку, API, дадут инструменты для обучения и не будут закрывать свой продукт под семью замками, то может даже смогут потягаться с лидерами нейросетевой гонки.

Как будет время — потестирую локальную версию.

#kandinski

"Святой Фома, покровитель реалистов, почему обошёл ты меня своей милостью?"

В связи с выходом новой версии Midjourney все вокруг писают кипятком от фотореалистичных картинок. А я вот не понимаю, зачем вам фоторил? Вот вы сгенерировали себе подружку, это ладно, а что дальше?

Я вижу несколько вариантов использования фотореалистичных работ, где основной (помимо порно) - это замена фотостокам, которые и так всегда стоили десять копеек в базарный день. На мой взгляд гораздо больше смысла в качественной, минималистичной стилизации типа тех, что во вложении. Почему-то такие результаты меня впечатляют больше очередной "фотографии" со студийным светом и ретушью.

Но может я сужу со своей колокольни и чего-то не понимаю. Расскажите, как вы используете фотореалистичную генерацию в коммерческих проектах?

Победное шествие ControlNet заставило многих забыть о стареньком скромном скрипте под названием Image2image Alternative Test, а между тем он, пожалуй, лучше других справляется с задачей стилизации картинки.

Он работает достаточно просто. Исходная картинка прогоняется через сэмплер Euler в обратную сторону, то есть превращается в шум, из которого она могла быть сгенерирована. Этот шум используется для генерации с измененным запросом.

Понимая алгоритм работы мы можем легко объяснить настройки скрипта.

1. Оба запроса, исходный и новый, должны почти совпадать, отличаясь лишь в деталях

2. Число шагов в Stable Diffusion и в Alternative test должно быть одинаковым. Сколько шагов мы сделали в сторону шума, на столько же мы должны продвинуться обратно. Чаще всего приходится их задирать выше 50

3. Скрипт работает только с сэмплером Euler

4. CFG Scale в данном случае работает как сила эффекта. Когда он ближе к нулю, запрос игнорируется и используется шум, а значит мы будем ближе к исходной картинке. Авторы скрипта советуют не поднимать его выше 2, но это ерунда, можно ставить и больше, просто будьте готовы к значительным изменениям

5. Denoising strength должен быть равен 1

6. Decode CFG Scale - это CFG, который используется при генерации шума. На практике почти всегда приходится его делать очень низким в диапазоне 0.5-1.5

7. Randomness позволяет добавить немного случайного шума. При нуле генерация будет все время одинаковой

8. Sigma adjustment - с этой галкой цвета будут больше соответствовать оригиналу

Алгоритм работы такой:

1. В img2img загружаете исходную картинку

2. Выбираете в списке скрипт img2img alternative test

3. В Original prompt записываете описание исходной картинки, можно воспользоваться Interrogate Clip

4. Снимите галку Override prompt и в запрос самого img2img запишите измененный промпт

5. Уменьшите CFG Scale до 1-2

6. Установите Denoising strength в 1

7. Включите Sigma Adjustment for finding noise for image

8. Добавьте КонтролНет, если испортилась исходная композиция