PE3R: Perception-Efficient 3D Reconstruction

Реконструкция 3D сцены по нескольким изображениям.
С поиском по сцене: пишем что нужно найти, и нам выделяют цветом заданный объект

Код
Демо

#image2scene #imageto3d

Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering

Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam

SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)

Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.

Код

#gaussian #rendering #novelview #image2scene #video2scene #realtime

VGGT: Visual Geometry Grounded Transformer

Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.

На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.

Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях

Код
Демо

#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth

Easi3R: Estimating Disentangled Motion from DUSt3R Without Training

Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео

Нэо потешный получился

Код
Посмотреть результаты интерактивно

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors

И еще один похожий инструмент, реконструкция 4D сцены по видео.

C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме

Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе

Код
Демо

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene