PE3R: Perception-Efficient 3D Reconstruction

Реконструкция 3D сцены по нескольким изображениям.
С поиском по сцене: пишем что нужно найти, и нам выделяют цветом заданный объект

Код
Демо

#image2scene #imageto3d

Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering

Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam

SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)

Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.

Код

#gaussian #rendering #novelview #image2scene #video2scene #realtime

VGGT: Visual Geometry Grounded Transformer

Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.

На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.

Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях

Код
Демо

#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth

Easi3R: Estimating Disentangled Motion from DUSt3R Without Training

Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео

Нэо потешный получился

Код
Посмотреть результаты интерактивно

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors

И еще один похожий инструмент, реконструкция 4D сцены по видео.

C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме

Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе

Код
Демо

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

CLiFT: Compressive Light-Field Tokens for Compute-Efficient and Adaptive Neural Rendering

Метод представления (и рендеринга) 3D сцен в виде сжатых токенов светового поля (CLiFT). Метод хорошо сохраняет геометрическую информацию.

На сайте есть сравнение с методами LVSM от Adobe и DepthSplat от Microsoft

Код ждем к 1 августа

#image2scene #rendering #novelview

HunyuanWorld-1.0

"Первый опенсорсный генератор 3D миров, полностью совместимый с графическими пайплайнами"

Создает сцены и 360-градусные панорамы по тексту и по картинке.

В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.

В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.

Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами

Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается

Спасибо @iNevestenko

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world

3D сцены HunyuanWorld 1.0 полностью редактируемые
(ну они так и написали - совместимые с 3D пайплайнами)

Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)

Jupiter / Colab

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world