У Unity, пожалуй самая крутая команда производства синематиков среди всех игровых движков. Они регулярно делают супер-качественные демки для новых технологий.

В этом году они выпустили очередную короткометражку под названием Time Ghost.

https://www.youtube.com/watch?v=o1JIK5W3DRU

Это видео полностью отрендерено в реальном времени и дает представление о новых графических фишках из Unity 6.

Для нас же самое интересное -- это, наконец-то, адекватное практическое использование нейросетей для "симуляции тканей".

В Юнити есть Sentis, фреймворк для инференса ONNX-моделей, написанный на C#. Так вот, для этого ролика авторами была сделана симуляция всей одежды на персонаже в Гудини. Потом на этих данных была обучена нейросеть.

Теперь эта нейросеть с помощью Sentis в реальном времени деформирует одежду в зависимости от анимации персонажа. При этом модель весит всего 50 мегабайт, а сам инференс занимает меньше миллисекунды на фрейм, если верить авторам.

Так что вот, не картинками едиными. Интересно будет посмотреть, какие еще применения для нейросетей появятся в геймдеве, где особые требования к быстродействию.

#gamedev #unity #sentis

А у вас тоже бывало такое, что вот думаешь о чём-то, думаешь, а потом вдруг бац, и мысли перескакивают в совершенно неожиданном направлении?

#chatgpt

Самой интересной задачей в геймдеве для меня всегда было создание ИИ для персонажей, будь то враги или дружественные NPC. Я решил поставить эксперимент и выяснить, хватит ли моих знаний на то, чтобы привнести в игровой ИИ немного ИИ настоящего, то есть нейросетевого.

Начал с задачи попроще. Я сделал в Unity лабиринт 20х20, который рандомно генерируется в начале игры. По нему разбросаны монетки, они же Энергосферы, которые нужно собирать в стиле Пэкмана. Есть бот, у которого ограничена зона видимости, он видит только по вертикали и горизонтали. Ему нужно исследовать лабиринт и собрать все монеты.

Сначала я сыграл 10 партий сам, стрелками на клавиатуре управляя ботом и сохраняя каждое движение в датасет. Потом написал скрипты для обучения на Pytorch и поэкспериментировал с гиперпараметрами, благо на обучение модели уходит всего восемь минут.

Получившаяся нейросеть принимает на вход 12 чисел — это информация о том, что бот видит в каждом из четырех направлений. У неё есть память последних ходов. На выход она выдает, в какую сторону нужно двигаться.

И да! Это работает! Теперь бот проходит лабиринт и собирает монеты. Сам. Причем он это делает не механистично, а иногда крутится на одном месте, иногда тупит, как настоящий человек. Бот исследует самые дальние уголки и почти всегда у него получается собрать все монеты на поле.

Модель работает очень быстро и весит всего 200 килобайт. Следующим шагом будет запустить её на Unity Sentis, потому что пока она крутится на самописном сервере.

Перспективы очень интересны. Представьте себе ботов в шутере. Можно их обучить на партиях игроков посильнее или послабее, безрассудных или аккуратных, кэмперов или рашеров. И в настройках можно будет выбрать их уникальный стиль игры. Что думаете?

#gamedev #ai #torch #unity

Наташ, ты спишь? Вставай, там в Minimax image2video завезли. А еще сайт новый, англоязычный. И скоро обещают цены объявить, а пока бесплатно работает.

https://hailuoai.video/

#minimax #image2video

Бесплатная демка нашей новой инди-игры вышла на itch.io

Bridges of Underlands - это помесь карточного баттлера и комбо-механик из Зумы. Разыгрывайте карты из бесконечной цепочки, сталкивая карты одного цвета, чтобы победить врага.

У нас маленькая команда, всего два человека, и при создании игры нам, конечно, помогали нейросети. Помимо очевидных рисунков, музыки и перевода (пока 13 языков), наш техарт Дима Крипаков сделал сложную систему процедурного нейро-текстурирования 3D-объектов из Гудини. Про нее мы как-нибудь обязательно расскажем, а пока можете поиграть и поделиться впечатлениями.

https://bereg.itch.io/bridges-of-underlands

Будем благодарны за оставленные на Itch.io комментарии, так как это поможет в продвижении игры.

#gamedev

Как и обещал, расскажу про нейротекстурирование для нашей инди-игры Bridges of Underlands. Мы попытались создать для неё приятное глазу минималистичное 3Д-окружение без ощущения "дешевого лоуполи".

Наш техарт Дмитрий Крипаков придумал для этого свой пайплайн. Это Stable Diffusion с контролнетом и специально обученным Чекпойнтом и Лорой, который позволяет генерировать стилизованные текстуры для разных элементов окружения, но делает это не "в лоб", а точно повторяя все изгибы и впадины исходной модели.

Главная фишка этого подхода в том, что это не проекция, из-за которой обычно возникают "потяги" или артефакты в местах, невидимых для камеры. Это генерация под хитрым образом подготовленную UV-развёртку с дополнительными атрибутами.

Технически это реализовано через Houdini и специально для этого написанный коннектор к ComfyUI. Мы процедурно создаём поверхность и автоматически генерируем десяток вариантов текстур, причём сразу с картами нормалей и прочими PBR-радостями. Из получившихся базовых элементов (стен, колонн, портиков, балок), как из конструктора, собираем уровень. Поскольку параметры генерации не меняются, то все элементы идеально подходят друг другу по стилистике.

Обратный подход, когда первой появляется текстура, а потом уже из неё генерируется карта высот и выдавливается меш, отлично подходит для создания груд камней и прочих органических пропсов.

Поиграть в саму игру можно вот тут:
https://bereg.itch.io/bridges-of-underlands

#gamedev #stablediffusion

Сундар Пичаи, CEO стартапа под названием Google, в своей речи, посвященной подведению итогов третьего квартала 2024 года заявил, что:

Сегодня более четверти всего нового кода в Google генерируется ИИ, а затем проверяется и утверждается инженерами. Это помогает нашим инженерам делать больше и двигаться быстрее.

Ну, Гугл - это Гугл. А что у вас? Я вот заметил, что, конечно, ключевые архитектурные вещи я делаю сам, но всякий бойлерплейт и нудные задачи, на которые иногда лень отвлекаться, проще и быстрее свалить на GPT4o или Claude. А бойлерплейт зачастую как раз занимает больше строк, так что этот процент может быть даже выше. А ещё заметил, что я все реже прямо тщательно проверяю их код. Проверяю, конечно, но не с микроскопом. Потому что в 90 процентов случаев там всё находится в диапазоне от "приемлемо" до "хорошо".

Напишите в комментариях, какой процент у вас. Только честно. Автозавершение строк от Copilot-подобных сервисов не считается. Ну или можете написать, что с таким подходом Google обречён, а человечество отупеет. Такое мнение тоже принимается.

Если что, вот тут вся речь Сундара, рекомендую почитать, это действительно интересно:
https://blog.google/inside-google/message-ceo/alphabet-earnings-q3-2024

#programming