Dreams and Robots
3.07K subscribers
120 photos
20 videos
1 file
67 links
ИИ на практике или "мама, а меня тоже заменят?"
加入频道
Минутка бесполезной информации.

А вы знали, что Stable Diffusion умеет воспринимать эмодзи в качестве промпта, причем у них свои собственные токены в словаре?

Вот вам, например, картинка по запросу 👱🏼‍♀️ 🩱 🏖

#stablediffusion
🤔28🔥12😁113👍2
Pez Dispenser - это скрипт, который работает примерно как текстуальная инверсия, только вместо эмбеддинга он выдаёт промпт. И это довольно любопытный инструмент.

Итак, на вход скрипта подаётся картинка, или готовый промпт, который нужно перфразировать/сократить.
https://huggingface.co/spaces/tomg-group-umd/pez-dispenser

Поставьте внизу Prompt length подлиннее и попробуйте поиграться. Генерация может занимать несколько минут.

Pez Dispenser работает с OpenCLIP-ViT/H, так что его результаты будут более адекватными с моделями Stable Diffusion 2 или Midjourney. Но даже если вы такой же старовер, как я, и больше любите модели 1.5, все равно вы получите очень интересный результат, пусть и далёкий от исходного.

Диспенсер выдаёт очень сложные промпты, иногда похожие на набор случайных слов. Там могут быть и эмодзи, и неожиданные знаки препинания, и какие-то странные сочетания букв. И это хорошая стартовая точка для экспериментов.

Вот промпты для приложенных к посту картинок, которые я нашел с помощью Диспенсера:

fineart cgi realistic influencer awarded tamannayoon seo best lsd psychedelic lollajellyfish reviewed nominated, vivid colors

spective biotic futuristic cyberpunk refurbished alien illustration bohemian watercolour artwork gerry aik strange forest gloomy trees

digital art painting of jongin manainactive percy ferns gill priory castle yeezy pagan foggy dark submergreenery lores austerity by greg rutkowski

painting of orchestrbryce landscape korubberplaceabstract arch free solid abstract autodesk bryce knuckles leaked olly, vivid colors, high contrast

alain edelsnowy solstice yellow 💤folklorethursday audubon goddess allergies illustration niallaest festivities wawx holidays

#промпты
🔥20👏2
Итак, свершилось. Я только что выложил мой набор инструментов для работы со Stable Diffusion из Гудини в открытый доступ. Для всех, даром, и пусть никто не уйдёт обиженным. Все, что нужно знать, в видео.

Нагенерируйте мне красоты!

https://www.youtube.com/watch?v=Un_b8cvzxcw
🔥16427👍9❤‍🔥6🫡6😎1
Я сделал англоязычную версию видео про Stable Houdini. Нейросетью, конечно. Если не сложно - поставьте апвоут на Реддите и лайк на Ютубе, буду благодарен.

https://www.reddit.com/r/StableDiffusion/comments/12zsjn0/i_released_my_set_of_houdini_digital_assets_for/?sort=new
🔥78👍173
Немного новостей про Stable Houdini.

Я добавил две новые ноды:

- SD Preprocessor, которая позволяет получать результат работы препроцессора из Контролнета и генерировать карты глубины, нормалей и так далее.

- SD Png Info, которая читает параметры генерации из картинки и сохраняет их в атрибутах для переиспользования.

На ноде SD Prompt добавился выбор эмбеддингов и гипернетворков. Лор пока нет. Они работают, но их нужно копировать из промпта в Автоматике.

Так что рекомендую обновиться.

Все значимые обновления я описываю в разделе Announcements на Гитхабе:
https://github.com/stassius/StableHoudini/discussions/categories/announcements

Кстати, поставьте звездочку на Гитхабе, что ли? Вам не сложно, а мне приятно.

#stablehoudini
67🔥22👍18
Ищу онлайн-сервис со Stable Diffusion, хочу жену подсадить на это дело.

Midjourney неплохой вариант, но Discord в качестве фронт-енда это совсем извращение на любителя.

Пока что я остановился на leonardo.ai (не реклама). Под капотом обычный Stable Diffusion, невысокая цена.

Плюсы:
- Есть сторонние модели! Это киллер-фича, поскольку здесь я также могу использовать DreamShaper или Delibirate, как и на локальном SD.
- Есть инпейнт и аутпейнт. Unzoom, удаление бэкграунда, апскейл и тайлинг
- Возможность обучать на собственных датасетах.
- Есть бесплатные генерации, 150 токенов в день.
- КонтролНет. Есть три модели - простой OpenPose, Depth и Canny.
- Image2Image
- Генерация текстур для Obj-моделей, но я не разбирался, если честно. Скорее всего шляпа.
- Community Feed. Можно смотреть чужие работы и сразу же пробовать понравившиеся настройки и промпты в своих генерациях.

Минусы:
- Закрытость и минимум информации. Почему-то все подобные сервисы делают вид, что внутри у них суперсекретная неонка, и скрывают от пользователя подробности работы. Например, в том же обучении непонятно, что именно тренируется - Lora, Hypernetwork или сразу DreamBooth.
- Скрытые параметры. Параметров чуть больше, чем в других подобных сервисах, но все равно мало. Например тут очень нелогичные и непонятные опции апскейла. При этом в Coming Soon обещают дать возможность их редактировать - но только пользователям продвинутого плана. Бред.
- Нет привычных лор, эмбеддингов и гипернетворков. Очень жду сервис, который позволит их использовать.

В общем, первые впечатления неплохие. По крайней мере это лучше какого-нибудь DreamStudio, Scenario.gg и Lexica.art.

Если у вас есть на примете подобные недорогие сервисы со стейблом -- напишите в комментариях.

https://leonardo.ai
Чтобы зарегистрироваться надо оставить почту, через какое-то время (несколько дней) вам придёт инвайт. Закрытый клуб, понимаете.

#сервисы
👍15🥱3😁1🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
Играл с генерацией ландшафтов и проиграл.

Нагенерировал 20 хайрезных спутниковых карт с помощью Лоры MapSatimageEU и вот такого промпта:
mapsatimageeu, Satellite map of a rocky mountain range, highly detailed, 8k, sharp, desert valleys, mountain tops, <lora:MapSatimageEU_V1.0_ST_LoRa:1>

Препроцессором Depth Leres превратил их в карты глубины, создал террейн, просимулировал эрозию, сохранил в кэш.

Вроде бы получились неплохие заготовки для дальнейшей обработки.

Поскольку работаю в Гудини, весь процесс от генерации картинок до рендера финальных секвенций запускается одной кнопкой.

#stablehoudini #stablediffusion
👍49🔥305😁1
Вы только посмотрите, какую красоту сделал наш подписчик Рустам со Stable Houdini!

Лайк и ретвит, пожалуйста!

https://twitter.com/KRu3ty/status/1655980595703316480

#stablehoudini
🔥59👍7❤‍🔥5💩2
Между тем на реддите назрела новая драма, связанная с ИИ-артом. Пользователь утверждает, что Стим отказался публиковать его игру из-за ассетов, созданных в Stable Diffusion.

С большой вероятностью это была просто плохая игра, то, что называется ассет-флип, но пример показателен, потому что в ответном письме Стима упоминаются именно авторские права на арт, и если это может быть формальной причиной отказа, об этом стоит задуматься.

Перевод ответа Стима:
Мы обнаружили в вашей игре интеллектуальную собственность, принадлежащую третьим лицам. В частности в вашей игре есть визуальные ассеты, сгенерированный ИИ на основе материалов, принадлежащих третьей стороне. Поскольку законное авторство таких ассетов остаётся серой зоной, мы не можем опубликовать вашу игру с этими ассетами, до тех пор, пока вы не сможете подтвердить, что вы обладаете правами на всю интеллектуальную собственность в датасете, на котором тренировался ИИ, создавший ассеты в вашей игре.


Мы уже публиковали разбор разъяснения американского регулятора по вопросам регистрации авторского права для произведений, созданных ИИ. Напомню, что вы не можете являться автором произведения, если не внесли достаточный вклад в его создание, причём промпт таковым не является. Если вы генерируете картинки, необходимо сильно их дорисовывать, чтобы они могли считаться уникальными. В данном случае в ответе есть странная фраза про права на датасет, это похоже на персональный бред конкретного сотрудника Стима. Они, конечно, частная компания, но вряд ли пойдут против решения федерального агентства по авторскому праву.

Что думаете?

Оригинальный пост на Реддите:
https://www.reddit.com/r/gamedev/comments/13cce1y/game_rejected_for_ai_generated_assets/

Наш пост про авторские права:
https://yangx.top/dreamsrobots/89

#авторское_право
🤔15🤡6🥱3😁1🤯1👌1
Если сделать несколько ракурсов с картой глубины персонажа на одном изображении, а потом использовать его в КонтролНет, то получится более-менее консистентная раскадровка.

В приведенном примере я сделал один кадр 640х640, поместил в сетку 1280х1280. Но это сработает и с другими соотношениями сторон.

Так можно генерировать ключевые кадры для EbSynth, если вы понимаете, о чём я.

В комментариях напишу, как это сделать в Гудини автоматически, без размещения ракурсов вручную.

#stablediffusion #совет
👍40🔥2131
Вы наверняка слышали про Instruct pix2pix. Это модель, которая позволяет менять картинку на основе текстового запроса типа "make his hair blue" или "turn it into a wood carving".

Так вот, изначальный вариант pix2pix, который был реализован в Автоматике, уже устарел. Теперь гораздо удобнее пользоваться pix2pix моделью КонтролНета. Она позволяет работать с хайрезными изображениями и в ней не нужно париться с двойной настройкой Denoising strength.

Работает прямо в text2image. Добавьте исходную картинку в ControlNet, оставьте препроцессор в "none", выберите модель "Control_v11e_sd15_ip2p", поставьте правильное разрешение картинки, наберите вашу инструкцию в поле промпта и жмите Generate.

Например я взял исходную картинку с древним городом, превратил ее в схематичный рисунок, в зимнюю сцену и в ночную с огнём.

#совет #A1111 #stablehoudini
👍59🔥20💯32
Inpaint-модели отличаются от остальных тем, что позволяют использовать форму черно-белой маски при генерации. Модель встроит новое изображение точно в ее границы.

До недавнего времени инпейнт-модели нужно было отдельно получать хитрыми операциями из существующих. Но теперь у нас есть инпейнтинг прямо в ControlNet 1.1.

Переключитесь в Image2image, добавьте исходное изображение и маску, сделайте все необходимые настройки, как в обычном инпейнте.

Теперь включайте контролнет, выбирайте в нем Inpaint-препроцессор и Inpaint-модель. Важно, что при этом картинка в самом контролнете должна отсутствовать -- в этом случае он возьмет её из маски image2image. Если вы работаете в Stable Houdini, переключитесь в Image type - File и сотрите имя файла.

Вот и вся хитрость, теперь абсолютно любой чекпойнт будет работать как Inpaint. На приложенных примерах я сгенерировал локацию старинного храма и добавил дверь в инпейнте.

#stablediffusion #A1111 #совет #controlnet #stablehoudini
🔥2812👍5