Пришел инвайт на закрытую бету Юнитевского Sentis.
Это кросс-платформенная библиотека, которая позволяет запускать нейросети прямо из Юнити, в том числе рантайм, в том числе на мобильных устройствах. Проще говоря, теперь инференс можно делать в игре (или приложениях), в процессе геймплея.

Несколько первых впечатлений:
1. Sentis устанавливается как обычный пакет через менеджер. В целом начать работу можно очень быстро.
2. Можно использовать и в рантайм, и в редакторе (например заранее генерировать ассеты для игры).
3. Работает с моделями в формате ONNX, скорость хорошая, но без волшебных сюрпризов.
4. Приятно видеть код на лучшем языке программирования вместо опостылевшего Питона. На первый взгляд библиотека устроена логично и просто, хотя ей еще и далеко до Torch в плане функционала.
5. В демке реализован простой пост-процессинговый эффект Find edges, который обрабатывает нейросетью картинку в реальном времени через C#-код в рендер-фиче. Конечно, просадка фпс по сравнению с аналогичным шейдером присутствует, но это любопытное применение и, самое главное, оно уже работает!

В общем, буду тестировать. Обучить нейросеть для принятия решений ботами в сложной игровой ситуации звучит как план. Осталось понять, насколько быстро это работает.

Правила закрытой беты достаточно строгие в плане того, что можно показывать. Так что вот вам пока официальный анонс месячной давности:
https://www.youtube.com/watch?v=Slw9hnILnes

Что думаете? Взлетит или нет?

#unity #sentis #gamedev

И вдогонку про Unity. Мне также пришел инвайт на тестирование Unity Muse, это такой ChatGPT, заточенный под разработку игр. Я погонял его немного и вот впечатления:

1. ChatGPT 4 лучше.
2. Пока что код отображается с ошибками, знаки сравнения заменяются на lt& и rt&. Это критично, но должны пофиксить.
3. Истории чатов, как в ChatGPT пока нет, зато есть выбор версии Юнити, про которую вы спрашиваете. А еще можно сразу скачать код с расширением .cs
4. Шейдеры кодом пишет из рук вон плохо. Зато по шагам подсказывает, какие ноды поставить в ShaderGraph. Это забавно, хотя и практически неюзабельно.
5. В коде допускает элементарные ошибки, например один раз не добавил указание типа в вызове дженерика GetComponent.
6. ChatGPT 4 лучше.

В целом интересно, как OpenAI смогли создать универсальный ИИ, который уделывает другие ИИ, обученные на специфические задачи. Код для Юнити от GPT4 работает сразу, нужно только достаточно подробно описать, что тебе нужно.

Но Muse это тоже шаг в правильном направлении.
Как игровые движки в своё время демократизировали создание игр, и мы получили тонну крутых инди-проектов, так сегодня ИИ демократизирует программирование. И чтобы создать первый прототип игры достаточно поверхностно понимать структуру игры в Юнити (компоненты, префабы и т.п.).

У меня даже родилась гениальная идея геймджема, в котором можно использовать любые ассеты, но весь код нужно писать через ИИ. Такой мета-уровень программирования, где главное правильно сформулировать задачу.

https://www.youtube.com/watch?v=dR4IuN2tF78

#unity #muse #gamedev

А помните, как в анонсе GPT4 нам обещали, что он будет способен обсуждать картинки и объяснять мемы?

Вот вам рабочий Open-Source вариант, который называется LLaVA (Large Language and Vision Assistant). На вход подается картинка, на выходе ее подробное описание. Или картинка + вопрос, на выходе ответ в нужном ключе.

Код открыт, можно встраивать в свои чатики. Работает на основе LLaMA + CLIP. Умеет отвечать по-русски, но криво.

Я вот попросил прожарить Киану, и это сработало.

https://llava.hliu.cc/

#llama

А теперь нечто совершенно иное.

Несколько постов назад я рассказывал про новые ИИ-инструменты от Юнити. Если вы не знали, то Юнити - это самый популярный (согласно статистике) и самый удобный (согласно мне) игровой движок в мире.

Так вот, полторы недели назад Unity огорошили разработчиков новым уникальным бизнес-планом. Они решили, что будет круто брать с разработчиков 20 центов за каждую установку их игры. Это показывает, скажем так, неординарное понимание рынка советом директоров Юнити. Более того, было объявлено, что уже вышедшие игры также подпадают под этот новый "налог". То есть, если ты уже выпустил игру и что-то на ней заработал, то теперь ты будешь должен деньги большой корпорации.

Это нововведение было принято слегка прохладно. 15 тысяч негативных ответов на официальном форуме Юнити не дадут соврать. Внутри самой компании начались волнения, сотрудники начали увольняться, появились петиции с требованием отставки CEO, соцсети были завалены опросами "Unreal или Godot?".

Я лично воспринял эту ситуацию очень эмоционально. Неделя выдалась крайне депрессивной. Я даже установил Unreal, что бы вы понимали всю глубину моего падения.

Ты инвестируешь годы жизни в изучение инструмента, а решение некомпетентных начальственных мудаков разрушает все твои планы. Насыпьте сюда параллелей и аллюзий по вкусу.

Так вот, после шквала критики официальные представители Юнити удалились на "подумать" и молчали больше недели, пока разработчики изучали другие движки и срались на форуме. Дошло до того, что отдельные сотрудники компании стали спойлерить решение руководства в Твиттере в виде зашифрованных сообщений.

И вот сегодня Юнити выдали официальное письмо. Весь этот булшит отменяется. Более того, теперь не нужно покупать отдельную лицензию, чтобы убрать плашку "Made with Unity" в начале игры. Подняли максимальный порог дохода для бесплатной версии. Ввели адекватный revenue share, то есть теперь после заработанного миллиона долларов нужно будет отчислять всего 2.5 процента от дохода игры, что в два раза меньше, чем у того же Unreal.

https://blog.unity.com/news/open-letter-on-runtime-fee

Я воспринимаю это как победу. Победу простых людей над корпорацией. По крайней мере в данный момент ситуация с Юнити разрешилась хэппи эндом. А в наше время хэппи эндов не хватает.

#unity #gamedev

В эфире наша постоянная рубрика "Жалобы на Steam".

Теперь они отказали в публикации игре, в которой перевод текста был сделан с помощью ChatGPT, причем отказали по старой схеме: с вопросами про авторское право. То есть, ещё раз, речь не про контент, а только про перевод.

Как я понимаю, у них есть внутреннее правило: если где-то в материалах игры упоминается AI, то игру не публикуем и спрашиваем разработчика насчет прав на датасет.

В Valve сидят прошаренные ребята, они понимают, какой серой зоной является сегодняшнее законодательство в сфере ИИ. Им, как компании-дистрибьютеру, не нужен неожиданный иск от какого-нибудь условного Стивена Кинга. Проще отказать и не пущать.

Государственная машина во всех странах очень неповоротлива, и добавление в законодательство новых концепций может затянуться на годы, а то и на десятилетия. А пока, если вы делаете творческий продукт с использованием ИИ, у вас есть выбор: или заранее озаботьтесь всеми документами, подтверждающими авторское право, или не отсвечивайте и уберите упоминания о ваших инструментах из соцсетей.

Почитать рассказ разработчика и обсуждение ситуации можно тут:

https://www.reddit.com/r/gamedev/comments/16r4dik/steam_also_rejects_games_translated_by_ai_details/

#steam #gamedev #авторское_право

Как вы думаете, когда сгенерированных ИИ картинок станет больше, чем изображений, созданных людьми за всю историю человечества? Под изображениями я имею в виду картины, фотографии и прочие жанры визуального искусства.
public poll

1-3 года – 154
👍👍👍👍👍👍👍 41%

Это уже произошло – 152
👍👍👍👍👍👍👍 40%

3-10 лет – 51
👍👍 14%

Никогда – 11
👍 3%

10-100 лет – 7
▫️ 2%

Больше 100 лет – 2
▫️ 1%

👥 377 people voted so far.

Лекс Фридман выпустил подкаст прямиком из Метаверса. Помните мем с лоу-поли аватаром Цукерберга на фоне Эйфелевой башни? Так вот, забудьте.

Технология Pixel Codec Avatars позволяет создавать фотореалистичных аватаров на основе 3D-сканов. Главная фишка - через камеры, встроенные в шлем, в реальном времени отслеживается мимика и движение губ. Реализм изображения в динамике просто зашкаливает. Зловещая долина убегает, поджав хвост, к зловещему айзеншпису.

Вангую, что в будущем станет популярной профессия цифрового стилиста и пластического хирурга для облагораживания своего отсканированного аватара. Изучайте ZBrush, пока не поздно, истинно реку!

https://www.youtube.com/watch?v=MVYrJJNdrEg

#VR #metaverse

Каждый раз, когда выходит новая модель для генерации изображений, я первым делом пытаюсь сгенерировать Cyberpunk city at night from above, чтобы посмотреть, как она справляется с окнами.

Так вот, рекламируемая из каждого утюга Dalle-3 этот тест не проходит и, как будто, ничего кардинально нового не привносит.

Попробуйте меня переубедить в комментариях.

https://www.bing.com/images/create/

#dalle

А вот что в Dall-e 3 действительно хорошо, так это работа с запросами. В Stable Diffusion очень сложно избавиться от утечки цвета, когда в одном запросе перечисляешь разные цвета.

Возьмем такой промпт: Girl with red hair, blue eyes, wearing green jacket with brown tie. В Стейбле у вас будут появляться синие галстуки и красные куртки. А Dall-e 3 отлично справился.

#dalle

В ChatGPT постепенно выкатывают DALL-E 3 для пользователей с подпиской.

Больше не нужно мучаться с промптами, запоминать стили и художников. Достаточно в общих чертах описать по-русски, что тебе нужно, а GPT4 уже сам преобразует это в подходящий запрос и довольно шустро сгенерирует картинку. При этом можно продолжать чат и просить что-то переделать или дополнить.

#chatgpt #dalle #gpt4 #openai

Кстати, GPT4 действительно научился объяснять мемы, причём делает это очень хорошо.

#chatgpt #gpt4 #openai