LRM: Large Reconstruction Model for Single Image to 3D

Реконструкция 3D объекта по одному изображению, на выходе #nerf. Про геометрию и текстуры ничего не нашел на сайте.

Там можно интерактивно покрутить несколько примеров, выглядит впечатляюще.

Кода, демо нет

#image2nerf #imageto3D

PyNeRF: Pyramidal Neural Radiance Fields

#nerf не умирает. Подъехал оптимизированный подход, который ускоряет работу. Далекие части сцены рендерят nerf низкого разрешения, близкие - nerf высокого разрешения.

Код

#imageto3D #rendring #novelview

ReconFusion: 3D Reconstruction with Diffusion Priors

Метод восстановления сцены на основе #nerf, но ему нужно всего несколько исходных изображений (на сайте проекта - от всего 3 до 81), остальное он досинтезирует.
Из разнящихся несогласованных исходников (ветка качнулась между снимками, сменила положение) делает согласованную модель - см третье видео

Кода нет ☹️

#image2scene #imageto3D

Nerfies: Deformable Neural Radiance Fields

Разработка Google Research превращает селфи-видео в #nerf сцену, портреты или видео с заданного ракурса. Пока требует несколько GPU для обучения, но колаб ноутбуки на гитхабе есть, можете попробовать запустить.

Код

#video2video #video2scene #video2depth

GARField: Group Anything with Radiance Fields

Извлекает ассеты разного уровня из #nerf сцены. Затем на них можно испытать симуляцию динамики - см на сайте.
Гарфилд прикручивается в nerfstudio

#simulation #dynamics #tools