MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion

По текстовому промту генерирует целостно согласованные изображения с нескольких ракурсов, что может пригодиться для создания панорамы или для многоракурсной генерации изображения по карте глубины. Может выдавать меш с текстурой

Код обещают в начале августа
Демо

#text2image #text2scene #novelview #textto3D #depthto3D #depth2image #text2scene #depth2scene

Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

Генератор целых интерьеров по тексту. На выходе текстурированный меш. На сайте есть интерактивный меш вьюер.

Код

#textto3D #text2scene #rendering

VideoDirectorGPT: Consistent Multi-SceneVideo Generation via LLM-Guided Planning

Многоплановый генератор видео по тексту. Взяли простую идею прогонять текстовый промт через GPT-4 чтобы получить план-сценарий. Далее за дело берется собственно генератор видео, который они назвали Layout2Vid. В результате можно генераить не отдельные кусочки видео, а многоплановые сцены, где соблюдается согласованнность от сцены к сцене (от шота к шоту)

Код обещают выложить

#text2video #text2scene

InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes

#nerf становятся ближе к народу. InseRF генерирует новый объект в nerf-сцене в заданном месте

Кода нет

#3Dto3D #text2scene #textto3D

Rodin Gen-1

Генерация 3D объектов по тексту и блокам в реальном времени.
Работает на наборе 3D-ControlNet'ов
Авторы планируют сделать крупнейший 3D генератор общедоступным

твиттер

#imageto3D #tetxtto3D #text2scene #realtime

GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guidedGenerative Gaussian Splatting

Генерация комплексных 3D сцен на гауссианах

Код ждем

#textto3d #text2scene

Обновился генератор 3D объектов Rodin Gen-1
На видео сравнение с предыдущей версией. Авторы претендуют ни много ни мало на роль Sora в 3D. Уже можно

записаться в вейтлист

#tetxtto3D #text2scene #realtime

Пришло приглашение в бету 3D генератора Rodin Gen-1
Вернее, письмо о том что меня выбрали для бета теста, но перед этим надо пройти опросник. Внимательно читайте условия в опроснике чтобы вас не кикнули с беты.

Ну а если вы еще не вписались, попробуйте:

записаться в вейтлист

#tetxtto3D #text2scene #realtime

Народ, у меня сегодня будет ознакомительная демо-сессия с представителем Rodin Gen-1

Накидайте срочно картинок для теста генерации 3D объектов!

[UPDATE] Спасибо, картинки отправил

#imageto3D #tetxtto3D #text2scene #realtime