Inpaint-модели отличаются от остальных тем, что позволяют использовать форму черно-белой маски при генерации. Модель встроит новое изображение точно в ее границы.
До недавнего времени инпейнт-модели нужно было отдельно получать хитрыми операциями из существующих. Но теперь у нас есть инпейнтинг прямо в ControlNet 1.1.
Переключитесь в Image2image, добавьте исходное изображение и маску, сделайте все необходимые настройки, как в обычном инпейнте.
Теперь включайте контролнет, выбирайте в нем Inpaint-препроцессор и Inpaint-модель. Важно, что при этом картинка в самом контролнете должна отсутствовать -- в этом случае он возьмет её из маски image2image. Если вы работаете в Stable Houdini, переключитесь в Image type - File и сотрите имя файла.
Вот и вся хитрость, теперь абсолютно любой чекпойнт будет работать как Inpaint. На приложенных примерах я сгенерировал локацию старинного храма и добавил дверь в инпейнте.
#stablediffusion #A1111 #совет #controlnet #stablehoudini
До недавнего времени инпейнт-модели нужно было отдельно получать хитрыми операциями из существующих. Но теперь у нас есть инпейнтинг прямо в ControlNet 1.1.
Переключитесь в Image2image, добавьте исходное изображение и маску, сделайте все необходимые настройки, как в обычном инпейнте.
Теперь включайте контролнет, выбирайте в нем Inpaint-препроцессор и Inpaint-модель. Важно, что при этом картинка в самом контролнете должна отсутствовать -- в этом случае он возьмет её из маски image2image. Если вы работаете в Stable Houdini, переключитесь в Image type - File и сотрите имя файла.
Вот и вся хитрость, теперь абсолютно любой чекпойнт будет работать как Inpaint. На приложенных примерах я сгенерировал локацию старинного храма и добавил дверь в инпейнте.
#stablediffusion #A1111 #совет #controlnet #stablehoudini
🔥28❤12👍5
Потестил инпейнт в ControlNet, который работает без промпта, "как в новом Фотошопе". Довольно прикольная штука.
Менять части изображения, затирать объекты можно было и раньше, просто надо было подбирать промпт, по которому генерируется изображение внутри маски. Теперь все стало проще.
Чтобы воспользоваться новой фичей достаточно обновить расширение ControlNet, модель инпейнта при этом используется старая. Можно на всякий случай обновить и модель control_v11p_sd15_inpaint отсюда: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Во вкладке text2image Автоматика поместите свою картинку в контролнет, выберите препроцессор Inpaint only и модель control_v11p_sd15_inpaint. Скопируйте разрешение картинки из контролнета в настройки генерации (кнопка в виде стрелочки вправо и наверх), включите Pixel Perfect и рисуйте маску. Поле Prompt нужно оставить пустым. Можете поиграть с ControlMode, он немного влияет на результат.
По моим наблюдениям лучше всего этот способ работает с маленькими масками. Чем больше маску вы попробуете залить, тем сложнее Контролнету будет понять, что нужно нарисовать, и придётся помогать ему промптом.
На текущий момент в расширении есть баг: когда вы стираете маску и начинаете рисовать новую, старая все еще сохраняется в кэше и будет влиять на генерацию. Надо удалить и заново выбрать картинку.
#A1111 #controlnet
Менять части изображения, затирать объекты можно было и раньше, просто надо было подбирать промпт, по которому генерируется изображение внутри маски. Теперь все стало проще.
Чтобы воспользоваться новой фичей достаточно обновить расширение ControlNet, модель инпейнта при этом используется старая. Можно на всякий случай обновить и модель control_v11p_sd15_inpaint отсюда: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
Во вкладке text2image Автоматика поместите свою картинку в контролнет, выберите препроцессор Inpaint only и модель control_v11p_sd15_inpaint. Скопируйте разрешение картинки из контролнета в настройки генерации (кнопка в виде стрелочки вправо и наверх), включите Pixel Perfect и рисуйте маску. Поле Prompt нужно оставить пустым. Можете поиграть с ControlMode, он немного влияет на результат.
По моим наблюдениям лучше всего этот способ работает с маленькими масками. Чем больше маску вы попробуете залить, тем сложнее Контролнету будет понять, что нужно нарисовать, и придётся помогать ему промптом.
На текущий момент в расширении есть баг: когда вы стираете маску и начинаете рисовать новую, старая все еще сохраняется в кэше и будет влиять на генерацию. Надо удалить и заново выбрать картинку.
#A1111 #controlnet
❤27👍8🔥6💩2