InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes

#nerf становятся ближе к народу. InseRF генерирует новый объект в nerf-сцене в заданном месте

Кода нет

#3Dto3D #text2scene #textto3D

Human-LRM: Single-View 3D Human Digitalization with Large Reconstruction Models

#Nerf-реконструкция человека в 3D по одному изображению за 5 секунд. Связность на видео.

Как думаете, куда Adobe прикрутит эту штуку?

#imageto3D #videoavatar #image2avatar #image2nerf #video2nerf #novelview #rendering

ComfyUI-3D-Pack

Набор инструментов ComfyUI для работы с 3D-входными данными и генерации 3D, на основе #nerf #gaussian и т д.

Уже интегрирован LGM

Набор еще в процессе разработки

Гитхаб

#imageto3D #image2image

TC4D: Trajectory-Conditioned Text-to-4D Generation

Генератор видео движущихся 3D объектов по тексту + траектории.
Под капотом #nerf

Код

#text2video #textto3D

Lightplane: Highly-Scalable Components for Neural 3D Fields

Модель для генерации и рендера #nerf
Сокращает потребление памяти на рендере в 1000 раз по сравнению с Autograd и Instant-NGP, сохраняя скорость рендера

Код

#optimization #rendering

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

Наконец годный (но это неточно) реконструктор 3D по одному или нескольким изображениям. Сначала внутри себя генерит много новых согласованных раскурсов, а потом на основе всего этого строит #nerf. На все про все уходит 1 минута.

Но поскольку это гугл, то код нам не дадут с вероятностью около 100%. Помолимся богам опенсорса

#imageto3D #novelview #rendering

NeRF-Insert: Local 3D editing with multimodal control signals

Редактор #nerf, работает по картинке или текстовому описанию. Область редактирования можно задать маской или референсным мешем

Код ждем

#3dto3d #3dinpainting #nerf2nerf

Style-NeRF2NeRF: 3D Style Transfer from Style-Aligned Multi-View Images

Новое слово в стилизации 3D сцен. Речь, конечно, идет о #nerf сценах.

Код ждем

#stylization

Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion

Шикарный проект студентов-исследователей Google Research.
Генератор видео проездов по улицам по входным картам.
Может интерполировать набор картинок Google Street (или просто набор фото локации) в длинное видео. Автор еще по видео собирает #nerf - на видео справа
Текстовым промптом можно задать нужные погодные условия, время суток, антураж города.

Представьте, у вас есть сцена проезда на автомобиле, снятая на хромаке, а подходящего задника не хватает. Расчехляете Streetscapes и вперед собирать идеальный задник (пустой улицы)

К сожалению без кода

#map2video #map2scene #image2video

TalkinNeRF: Animatable Neural Fields forFull-Body Talking Humans

Продолжаем тему. Говорящие человеки на нерфах в полный рост. Кода нет. Ну и правильно, кому сейчас нужны эти нерфы

#talkinghuman #speech2nerf #nerf #humananimation

Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation

Реконструкция 3D объектов в экстремальных условиях освещения

Проект Гугла, кода нет

#relighting #nerf #3Dreconstruction #photogrammetry

Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA

Код ждем

#gaussian #nerf