Впечатления о Rodin Gen-1 со вчерашней демосессии.

Признаю, он неидеален, но впечатляет! Лучше всего что я видел до сих пор. Для иллюстрации прилагаю ваши картинки, о которых речь

- Генерит объекты по тексту и по изображению
- генерит текстуры
- может смешивать два и более объектов, есть рулька смешивания. Гибрид Бендера с автомобилем вышел бесполезный но смешной
- Я в 3D дилетант, по мне сетка хорошая в сравнении с остальными генераторами, даже отличная для железки. Есть три варианта поликаунта для чистового прохода- 5000, 10000, 30000 полигонов
- умеет генерить воксели из геометрии и геометрию из вокселей. Для меня юзкейсы тут неочевидны были. Короче, так можно делать вариации геометрии или что-то детальное из грубого 3D наброска.
- умеет генерить объект из облака точек. Чую, это будет отличная замена нюковому генератору меша из облака точек
- Крышесносная фича - 3D инпейнтинг - можно на модельке выделить боксом область под замену. Правда, не знаю насколько полезная
- ну и конечно генерация сцены по боксам как было в изначальной презентации

Теперь о слабых местах

- не справляется с нестандартными позами персонажей. Бендера со скрещенными на груди руками не смог. Вернее, Бендер вышел отлично, а руки слились в один шланг. Игривого котэ смог, но в другой позе, с лапками поставленными вместе. Но было бы и странно, кому нужны статичные персонажи в странных позах? Думаю, с Т-позой для бипеда и стандартной позой для квадрапеда все будет ок.

- не справляется с мелкими детальными структурами. Эйфелеву башню порвал на кусочки. Из вот этого мелкоструктурного лица вообще сделал какой-то член, оставив пустоту вместо щек

- не справился с очками на жабе, оптические эффекты тяжеловато ему даются. Со второй или третьей попытки почти справился.

Ну и опять же, то что не получилось - экстремальные случаи, мне трудно себе представить кейсы когда такие вещи потребуется сделать с нуля.

Стол, пистолет, мозг получились отлично.

Обещают сначала открыть web-версию, потом API

#imageto3D #tetxtto3D #text2scene #test #inpainting

HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions

Генерация 3D сцен по текстовому описанию. Первым шагом генерируется 360-градусная панорама. Ну а дальше на нее напускают гауссианы.

Код ждем

#gaussian #text2scene #textto3d #panorama

Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches

Генерация интерактивных 3D-игровых сцен по нарисованным от руки эскизам и текстовым описаниям.

Под капотом генератор картинок, ControlNet, LoRa на SDXL-Inpaint, Grounded Segment Anything.


Для процедурного синтеза 3D-сцены используется игровой движок Unity

Кода нет, есть понимание чего ожидать в играх

#sketch2scene #text2scene #news

Chat Edit 3D: Interactive 3D Scene Editing via Text Prompts

Это вообще законно?
Оно через ChatGPT рулит 30+ диффузионными нейронками для работы с 3D сценами.
Загляните на сайт. Там еще вагончик примеров того что оно может

Код

#3dediting #text2scene #nerf #textto3d #assistant #3dassistant

ImmerseGen: Agent-Guided Immersive World Generation with Alpha-Textured Proxies

Разработка ByteDance.
Создаёт 3D-миры по текстовым описаниям для виртуальной реальности. Сначала формируется базовая местность, а затем добавляются объекты.

Под капотом агенты, работающие на основе визуальных языковых моделей

Код ждем

#VR #vlm #text2scene #text2world

HunyuanWorld-1.0

"Первый опенсорсный генератор 3D миров, полностью совместимый с графическими пайплайнами"

Создает сцены и 360-градусные панорамы по тексту и по картинке.

В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.

В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.

Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами

Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается

Спасибо @iNevestenko

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world

3D сцены HunyuanWorld 1.0 полностью редактируемые
(ну они так и написали - совместимые с 3D пайплайнами)

Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)

Jupiter / Colab

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world