Пришел инвайт на закрытую бету Юнитевского Sentis.
Это кросс-платформенная библиотека, которая позволяет запускать нейросети прямо из Юнити, в том числе рантайм, в том числе на мобильных устройствах. Проще говоря, теперь инференс можно делать в игре (или приложениях), в процессе геймплея.

Несколько первых впечатлений:
1. Sentis устанавливается как обычный пакет через менеджер. В целом начать работу можно очень быстро.
2. Можно использовать и в рантайм, и в редакторе (например заранее генерировать ассеты для игры).
3. Работает с моделями в формате ONNX, скорость хорошая, но без волшебных сюрпризов.
4. Приятно видеть код на лучшем языке программирования вместо опостылевшего Питона. На первый взгляд библиотека устроена логично и просто, хотя ей еще и далеко до Torch в плане функционала.
5. В демке реализован простой пост-процессинговый эффект Find edges, который обрабатывает нейросетью картинку в реальном времени через C#-код в рендер-фиче. Конечно, просадка фпс по сравнению с аналогичным шейдером присутствует, но это любопытное применение и, самое главное, оно уже работает!

В общем, буду тестировать. Обучить нейросеть для принятия решений ботами в сложной игровой ситуации звучит как план. Осталось понять, насколько быстро это работает.

Правила закрытой беты достаточно строгие в плане того, что можно показывать. Так что вот вам пока официальный анонс месячной давности:
https://www.youtube.com/watch?v=Slw9hnILnes

Что думаете? Взлетит или нет?

#unity #sentis #gamedev

У Unity, пожалуй самая крутая команда производства синематиков среди всех игровых движков. Они регулярно делают супер-качественные демки для новых технологий.

В этом году они выпустили очередную короткометражку под названием Time Ghost.

https://www.youtube.com/watch?v=o1JIK5W3DRU

Это видео полностью отрендерено в реальном времени и дает представление о новых графических фишках из Unity 6.

Для нас же самое интересное -- это, наконец-то, адекватное практическое использование нейросетей для "симуляции тканей".

В Юнити есть Sentis, фреймворк для инференса ONNX-моделей, написанный на C#. Так вот, для этого ролика авторами была сделана симуляция всей одежды на персонаже в Гудини. Потом на этих данных была обучена нейросеть.

Теперь эта нейросеть с помощью Sentis в реальном времени деформирует одежду в зависимости от анимации персонажа. При этом модель весит всего 50 мегабайт, а сам инференс занимает меньше миллисекунды на фрейм, если верить авторам.

Так что вот, не картинками едиными. Интересно будет посмотреть, какие еще применения для нейросетей появятся в геймдеве, где особые требования к быстродействию.

#gamedev #unity #sentis