Я добавил поддержку Kohya_ss в Stable Houdini. Теперь можно тренировать Лоры прямо из Гудини, встроив тренировку в свой пайплайн.

Если вам надо воссоздать конкретный стиль, объект или персонажа, Лора вам в этом поможет. Тренировка с адекватными параметрами достаточно быстрая, от 5 минут на gtx4090 до 40 на старых картах, это вам не "ставить рендер на ночь", дольше возишься с датасетом, чем с самим обучением.

Нода для обучения в Гудини даёт возможность делать wedge, то есть автоматически, в пакетном режиме, создавать Лоры с разными значениями параметров. Не знаете, на что влияет Network Rank или Learning Rate? Можно за ночь обучить пару десятков или даже сотню Лор и проснуться к готовым картинкам для сравнения, если вам такое нравится.

В комплекте идут два готовых профиля, Простой и Средний. В них разное число параметров выведено на интерфейс. Все настройки стандартно-дефолтные для хорошего результата, так что можно втыкать Простой профиль и сразу тренировать Лоры. Профили универсальные, так что я потом еще добавлю тренировку Dreambooth и Textual Inversion для истинных ценителей жанра.

А для подготовки датасета есть отдельная нода SD Dataset Preparation, которая тянет картинки в нужную папку, кропит и скейлит, при необходимости создает текстовые описания. На мой взгляд пользоваться удобно.

Для использования нужно обновить Stable Houdini с Гитхаба. Если среди нас есть ниндзя обучения, владеющие ещё и Гудини, буду благодарен за тестирование и обратную связь.

Урок запишу позже, а пока вот вам текстовое руководство, как этим делом пользоваться:

https://github.com/stassius/StableHoudini/wiki/How-to-train-LoRA

#stablehoudini #stablediffusion #lora

минутка флюидной красоты - целиком на нейронках

в этой завораживающей анимации органично соединились два важных для меня элемента:

лора, обученная на кислотных флюидных картинках. рад поделиться ей на civitai

собственный аналог дефорума созданный с помощью Stable Houdini. он позволяет использовать Automatic1111 как движок генерации а все команды отправлять из Houdini.
нодами очень удобно и наглядно удалось собрать мощный сетап - он идеально подходит для 2д флюидной анимации и не только - гифки в комментах

сетапом тоже буду рад поделиться. и ваши лайки и репосты мотивируют меня поскорее подготовить файл и стрим на ютуб - о том как им пользоваться. всем любовь!

LoRa AcidFluid
Stable Houdini

@тоже_моушн

Вчера на DTF вышла статья Олега Скутте, которому Steam отказал в публикации его игры из-за артов, созданных Stable Diffusion.

https://dtf.ru/gameindustry/1915460-valve-otklonyaet-igry-ispolzuyushchie-ii-tehnologii

Я уже писал о подобном случае ранее, причина та же, неясность с авторскими правами на датасет:
https://yangx.top/dreamsrobots/114

В статье на ДТФ приведен список других игр, отклоненных по той же причине. Я сначала подумал, что проблема была в том, что AI-Powered было вынесено в название игры, но несколько игр из списка являются обычными визуальными новеллами, и в их описании не упоминается ИИ, по крайней мере на Стим-странице.

Игры из списка не блещут красотой (не в обиду авторам, они молодцы), но также не блещет ей AI Roguelite, которая вполне себе продаётся: https://store.steampowered.com/app/1889620/AI_Roguelite/.

Мне кажется, это интересная тема для обсуждения, потому что я знаю инди-разработчиков, которые делают игры с контентом из Stable Diffusion или Midjourney и возможно сейчас им приходится пить зеленый чай с ромашкой, чтобы прийти в себя.

Мои мысли:

1. Крупные игровые студии уже вовсю используют Стейбл в своих пайплайнах, это уже не секрет. Другое дело, что они достаточно серьезно обрабатывают результаты генерации, и у них есть ресурсы, чтобы решить все возникающие юридические вопросы.

2. Число игр, созданных с помощью ИИ будет только расти. Быстрее всего будет увеличиваться количество трешовых игр, сделанных на коленке за месяц, от них никуда не деться. Юридическая сторона вопроса будет подтягиваться ещё долго, тут есть риски и для разработчиков, и для издателей.

3. Надеемся, что Valve выпустят формализованные правила использования ИИ-контента на Стиме, чтобы не полагаться на настроение ревьюверов.

4. Если вы инди-разработчик, то, во-первых, привыкайте обрабатывать результаты работы нейросетей, причем обрабатывать сильно. А во-вторых, не палите использование ИИ. Не надо писать "First AI-powered game ever!" в описании. Хорошей идеей будет обучить нейросеть на картинках, на которые у вас есть права и задокументировать процесс. А еще подумайте насчёт издателя.

5. Сложный и дорогой путь: попробуйте зарегистрировать авторские права на контент, чтобы приходить в Стим с бумажкой.

6. Мне кажется, если игра полностью построена вокруг сгенерированного контента и не может предложить ничего сверх этого, то ей дорога на itch.io или другие сайты, которые с удовольствием хостят экспериментальные игры. Сомневаюсь, что Стим отклонит клевую инди-игру с интересными механиками за то, что в ней спрайты сгенерированы нейросетью.

Cреди нас есть инди-разработчики или издатели? Что вы думаете?

#авторское_право

Гугловский Бард выкатился в открытый доступ, бесплатно и в том числе на русском языке. Тесты показали, что со многими задачами он справляется не хуже GPT4. Последовательности чисел продолжает, код пишет, лексические парадоксы понимает.

Прямо из интерфейса можно запускать код и проверять его в коллабе.

Не ура ли?

https://bard.google.com/

#llm #bard

Пришел инвайт на закрытую бету Юнитевского Sentis.
Это кросс-платформенная библиотека, которая позволяет запускать нейросети прямо из Юнити, в том числе рантайм, в том числе на мобильных устройствах. Проще говоря, теперь инференс можно делать в игре (или приложениях), в процессе геймплея.

Несколько первых впечатлений:
1. Sentis устанавливается как обычный пакет через менеджер. В целом начать работу можно очень быстро.
2. Можно использовать и в рантайм, и в редакторе (например заранее генерировать ассеты для игры).
3. Работает с моделями в формате ONNX, скорость хорошая, но без волшебных сюрпризов.
4. Приятно видеть код на лучшем языке программирования вместо опостылевшего Питона. На первый взгляд библиотека устроена логично и просто, хотя ей еще и далеко до Torch в плане функционала.
5. В демке реализован простой пост-процессинговый эффект Find edges, который обрабатывает нейросетью картинку в реальном времени через C#-код в рендер-фиче. Конечно, просадка фпс по сравнению с аналогичным шейдером присутствует, но это любопытное применение и, самое главное, оно уже работает!

В общем, буду тестировать. Обучить нейросеть для принятия решений ботами в сложной игровой ситуации звучит как план. Осталось понять, насколько быстро это работает.

Правила закрытой беты достаточно строгие в плане того, что можно показывать. Так что вот вам пока официальный анонс месячной давности:
https://www.youtube.com/watch?v=Slw9hnILnes

Что думаете? Взлетит или нет?

#unity #sentis #gamedev

И вдогонку про Unity. Мне также пришел инвайт на тестирование Unity Muse, это такой ChatGPT, заточенный под разработку игр. Я погонял его немного и вот впечатления:

1. ChatGPT 4 лучше.
2. Пока что код отображается с ошибками, знаки сравнения заменяются на lt& и rt&. Это критично, но должны пофиксить.
3. Истории чатов, как в ChatGPT пока нет, зато есть выбор версии Юнити, про которую вы спрашиваете. А еще можно сразу скачать код с расширением .cs
4. Шейдеры кодом пишет из рук вон плохо. Зато по шагам подсказывает, какие ноды поставить в ShaderGraph. Это забавно, хотя и практически неюзабельно.
5. В коде допускает элементарные ошибки, например один раз не добавил указание типа в вызове дженерика GetComponent.
6. ChatGPT 4 лучше.

В целом интересно, как OpenAI смогли создать универсальный ИИ, который уделывает другие ИИ, обученные на специфические задачи. Код для Юнити от GPT4 работает сразу, нужно только достаточно подробно описать, что тебе нужно.

Но Muse это тоже шаг в правильном направлении.
Как игровые движки в своё время демократизировали создание игр, и мы получили тонну крутых инди-проектов, так сегодня ИИ демократизирует программирование. И чтобы создать первый прототип игры достаточно поверхностно понимать структуру игры в Юнити (компоненты, префабы и т.п.).

У меня даже родилась гениальная идея геймджема, в котором можно использовать любые ассеты, но весь код нужно писать через ИИ. Такой мета-уровень программирования, где главное правильно сформулировать задачу.

https://www.youtube.com/watch?v=dR4IuN2tF78

#unity #muse #gamedev

А помните, как в анонсе GPT4 нам обещали, что он будет способен обсуждать картинки и объяснять мемы?

Вот вам рабочий Open-Source вариант, который называется LLaVA (Large Language and Vision Assistant). На вход подается картинка, на выходе ее подробное описание. Или картинка + вопрос, на выходе ответ в нужном ключе.

Код открыт, можно встраивать в свои чатики. Работает на основе LLaMA + CLIP. Умеет отвечать по-русски, но криво.

Я вот попросил прожарить Киану, и это сработало.

https://llava.hliu.cc/

#llama

А теперь нечто совершенно иное.

Несколько постов назад я рассказывал про новые ИИ-инструменты от Юнити. Если вы не знали, то Юнити - это самый популярный (согласно статистике) и самый удобный (согласно мне) игровой движок в мире.

Так вот, полторы недели назад Unity огорошили разработчиков новым уникальным бизнес-планом. Они решили, что будет круто брать с разработчиков 20 центов за каждую установку их игры. Это показывает, скажем так, неординарное понимание рынка советом директоров Юнити. Более того, было объявлено, что уже вышедшие игры также подпадают под этот новый "налог". То есть, если ты уже выпустил игру и что-то на ней заработал, то теперь ты будешь должен деньги большой корпорации.

Это нововведение было принято слегка прохладно. 15 тысяч негативных ответов на официальном форуме Юнити не дадут соврать. Внутри самой компании начались волнения, сотрудники начали увольняться, появились петиции с требованием отставки CEO, соцсети были завалены опросами "Unreal или Godot?".

Я лично воспринял эту ситуацию очень эмоционально. Неделя выдалась крайне депрессивной. Я даже установил Unreal, что бы вы понимали всю глубину моего падения.

Ты инвестируешь годы жизни в изучение инструмента, а решение некомпетентных начальственных мудаков разрушает все твои планы. Насыпьте сюда параллелей и аллюзий по вкусу.

Так вот, после шквала критики официальные представители Юнити удалились на "подумать" и молчали больше недели, пока разработчики изучали другие движки и срались на форуме. Дошло до того, что отдельные сотрудники компании стали спойлерить решение руководства в Твиттере в виде зашифрованных сообщений.

И вот сегодня Юнити выдали официальное письмо. Весь этот булшит отменяется. Более того, теперь не нужно покупать отдельную лицензию, чтобы убрать плашку "Made with Unity" в начале игры. Подняли максимальный порог дохода для бесплатной версии. Ввели адекватный revenue share, то есть теперь после заработанного миллиона долларов нужно будет отчислять всего 2.5 процента от дохода игры, что в два раза меньше, чем у того же Unreal.

https://blog.unity.com/news/open-letter-on-runtime-fee

Я воспринимаю это как победу. Победу простых людей над корпорацией. По крайней мере в данный момент ситуация с Юнити разрешилась хэппи эндом. А в наше время хэппи эндов не хватает.

#unity #gamedev

В эфире наша постоянная рубрика "Жалобы на Steam".

Теперь они отказали в публикации игре, в которой перевод текста был сделан с помощью ChatGPT, причем отказали по старой схеме: с вопросами про авторское право. То есть, ещё раз, речь не про контент, а только про перевод.

Как я понимаю, у них есть внутреннее правило: если где-то в материалах игры упоминается AI, то игру не публикуем и спрашиваем разработчика насчет прав на датасет.

В Valve сидят прошаренные ребята, они понимают, какой серой зоной является сегодняшнее законодательство в сфере ИИ. Им, как компании-дистрибьютеру, не нужен неожиданный иск от какого-нибудь условного Стивена Кинга. Проще отказать и не пущать.

Государственная машина во всех странах очень неповоротлива, и добавление в законодательство новых концепций может затянуться на годы, а то и на десятилетия. А пока, если вы делаете творческий продукт с использованием ИИ, у вас есть выбор: или заранее озаботьтесь всеми документами, подтверждающими авторское право, или не отсвечивайте и уберите упоминания о ваших инструментах из соцсетей.

Почитать рассказ разработчика и обсуждение ситуации можно тут:

https://www.reddit.com/r/gamedev/comments/16r4dik/steam_also_rejects_games_translated_by_ai_details/

#steam #gamedev #авторское_право

Как вы думаете, когда сгенерированных ИИ картинок станет больше, чем изображений, созданных людьми за всю историю человечества? Под изображениями я имею в виду картины, фотографии и прочие жанры визуального искусства.
public poll

1-3 года – 154
👍👍👍👍👍👍👍 41%

Это уже произошло – 152
👍👍👍👍👍👍👍 40%

3-10 лет – 51
👍👍 14%

Никогда – 11
👍 3%

10-100 лет – 7
▫️ 2%

Больше 100 лет – 2
▫️ 1%

👥 377 people voted so far.