OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

Новый генератор 3D моделей по картинке от анонимов. Разбивает модель на части, генерирует по частям. Разбивку можно редактировать

Под капотом гауссианы

#тестбендера провалил. сегментировал успешно, модель выдал плоскую

Кода нет
Демо

#gaussian #3d #imageto3d

EarthCrafter: Scalable 3D Earth Generation via Dual-Sparse Latent Diffusion

Генератор 3D ландшафтов Земли от Alibaba

На вход можно подавать семантические карты, RGBD или вообще ничего

Хорошо справляется с генерацией огромных ландшафтов

Под капотом 3D-VAE и гауссианы

Код ждем

#landscape #segmentation2scene #RGBD2scene #gaussian

4D Gaussian Splatting SLAM

4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.

Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля

Код

#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian

3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt

Еще одна оптимизированная модель для реконструкции сцен на гауссианах. От запрещенной Meta

Оптимизация достигается за счет путём замены оптимизатора ADAM (на втором этапе) на адаптированный алгоритм Левенберга-Маркварта (LM)

Модель ускоряет процесс оптимизации на 20 % по сравнению с оригинальным 3DGS, сохраняя при этом качество реконструкции.

Казалось бы, жиденькое ускорение. Но метод можно комбинировать с другими подходами для ускорения 3DGS, что позволяет достигать ещё более высоких скоростей обработки.

Код

#gaussian #novelview

TINKER: Diffusion's Gift to 3D--Multi-View Consistent Editing From Sparse Inputs without Per-Scene Optimization

Редактор 3D сцен на гауссианах текстовыми указаниями

— не требует много исходных данных;

— не нуждается в настройке для каждой сцены;

— может редактировать 3D с одним или несколькими входными данными;

— создаёт согласованные правки с несколькими ракурсами по 1–2 изображениям;

— реконструирует видео по первому кадру и глубине;

— улучшает качество 3DGS

Код ждем, с интеграцией в NerfStudio

#gaussian #3dediting

Pixie: Physics from Pixels

Модель добавляет физические свойства в 3D модели на #nerf и #gaussian
Мапит материалы с физическими свойствами на объекты на основе их внешнего вида за один форвард пасс, что позволяет проводить симуляции в реальном времени

Работает значительно быстрее (в 10³ раз) по сравнению с существующими методами

Код
Jupiter

#simulation #dymanics #material #physics

GMC: Global Motion Corresponder for 3D Point-Based Scene Interpolation under Large Motion

Интерполяция 3D сцен на гауссианах при большом движении.
Метод позволяет решать проблему некорректной работы традиционных техник при отклонениях от предположения о малых движениях между кадрами

Среди авторов Nvidia и Google

Код ждем

#gaussian