Быстрый старт для тех, кто хочет попробовать себя в нейросетевом арте с помощью Stable Diffusion.

Stable Diffusion - это софт для генерации изображений по тексту с открытым исходным кодом. То есть вы сможете создавать картинки у себя на компьютере. Он требует чуть больше усилий для получения качественного изображения, чем тот же Midjourney, но зато он бесплатный, расширяемый и имеет API, то есть вы сможете подключить его к своим любимым пакетам (уже есть плагины для Фотошопа и Криты).

Для работы с ним вам понадобится видеокарта Nvidia с минимум 6 гигабайтами памяти (некоторые утверждают, что и на четырех работает).

Чтобы работать было удобнее, необходимо установить так называемый webui, то есть пользовательский интерфейс. Я рекомендую Automatic1111. Он, прямо скажем, не идеален, но у него самый богатый функционал и крутое коммьюнити.

Существует однокнопочный инсталлер всего, что нужно. Работает только в Windows:
https://github.com/EmpireMediaScience/A1111-Web-UI-Installer

Скачайте Latest Release, запустите и поставьте галки на установку Python, Git и скачивание модели, если у вас всего этого нет. Процесс установки достаточно долгий, так что наберитесь терпения. Рекомендую ставить на SSD-диск с достаточным объемом, так как модели у вас быстро съедят кучу места. У меня папка с автоматиком весит 130 гигабайт.

Если у вас не Windows, то придется пройти путь ручной установки всех запчастей, как указано в этом репозитории (это основной репо Автоматика):
https://github.com/AUTOMATIC1111/stable-diffusion-webui

Запуск самого webui происходит через файл .bat (.или sh на linux). Запускайте webui-user. В него вы сможете добавлять аргументы командной строки, про них будет отдельный пост.

После запуска bat-файла откроется терминал, в котором будет отображаться процесс запуска. Успешный пуск заканчивается надписью To create a public link, set share=True in launch()

Теперь открывайте браузер, запускайте ссылку http://127.0.0.1:7860 и начинайте творить.

#основы

Что такое модели, где их взять и куда поставить?

Model, Checkpoint - файл с расширением .ckpt или .safetensor. В модели хранятся все веса для генерации картинок, без неё ничего работать не будет. Обычно это большие файлы с размером 3-4 гигабайта, иногда больше.

Базовые стандартные "официальные" модели существуют в разных версиях. Я рекомендую скачать все и выбрать подходящую под свои задачи. Мне нравится 1.5. Но начиная со второй размер датасета увеличился до 768х768, а в 2.1 очень хорошо получаются портретные фотографии.

Помимо стандартных моделей существуют еще и специфические, которые работают в img2img:

Inpainting - это модель, которая позволяет переделывать определенные участки изображения, учитывая форму и размер маски.
С выходом ControlNet1.1 Следующие две модели устарели, но вы можете их встретить:
Depth - модель, которая генерирует картинку по карте глубины.
Pix2pix - модель для перерисовки картинки методом Instruct pix2pix.

Если вы скачиваете новую модель, и у вас есть выбор, то скачивайте safetensors. Она не отличается от ckpt по сути, но открывается быстрее и в ней нет исполняемого кода, который потенциально может быть вредоносным. Также есть разные версии - pruned, emaonly и другие. Скачивайте pruned-emaonly, которая занимает меньше места.

Модели надо положить в папку stable-diffusion-webui/models/Stable-diffusion/ Можно создавать подпапки, которые позволят удобно каталогизировать все имеющиеся чекпойнты.

Базовые модели (для скачивания нажмите на стрелочку вниз справа от имени файла):
Версия 1.5
https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
Inpainting:
https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/main

Версия 2
https://huggingface.co/stabilityai/stable-diffusion-2/tree/main
Inpainting:
https://huggingface.co/stabilityai/stable-diffusion-2-inpainting/tree/main
Depth
https://huggingface.co/stabilityai/stable-diffusion-2-depth

Версия 2.1
https://huggingface.co/stabilityai/stable-diffusion-2-1/tree/main

Pix2Pix (Внимание! Работает только в img2img!):
https://huggingface.co/timbrooks/instruct-pix2pix/tree/main

Важный момент, что для работы моделей 2 и 2.1 рядом с ними должен лежать файл настроек, который называется так же, как модель, но имеет расширение yaml. Я подготовил архив с yaml-файлами для официальных моделей, скачайте его вот тут: https://bit.ly/3XPYGAV и распакуйте в ту же папку.

Также существуют модели от сообщества. По сути это стандартные чекпойнты, доученные на новых датасетах. Их можно найти и скачать на сайте https://civitai.com/

Обратите внимание, что некоторые из них обучены на моделях 2 и 2.1 (это указано на странице чекпойнта), для них нужно будет скопировать соответствующий yaml и переименовать его, чтобы имя соответствовало модели.

Чекпойнт выбирается в интерфейсе Автоматика в выпадающем списке в левом верхнем углу. Загрузка модели занимает некоторое время, так что следите за консолью.

Удачного творчества!

#основы