3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

Рендер сцен на гауссианах от Nvidia

В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения

Код

#gaussian #video2scene #rendering #novelview #fisheye

Krea Stage + GPT-4o

Говорят, GPT-4o в Krea AI помогает рендерить Stages с консистентными персонажами и окружением

#novelview #rendering #imageediting #personalization

A3D

Гибрид 3D-редактора с генератором картинок.

- контроль позы простыми болванками
- генерация 3D-модели с помощью Gen AI (Fal.ai )
- ИИ-рендер по глубине/цвету с помощью ComfyUI или Fal.ai
- драгэндроп персонажей (тестировалось с Mixamo characters)

#3dediting #contolnet #3dtoimage #rendering

Triangle Splatting for Real-Time Radiance Field Rendering

Новый способ представления и рендера объемных сцен от DeepMind и Ко на треугольных сплатах. Конец гегемонии гауссовых сплатов?

- Высокая визуальная точность. В отличие от гауссиан сохраняет четкость в мелких деталях

- Быстрая сходимость

- Скорость. Более 2400 FPS при разрешении 1280×720 на RTX4090

- Совместим с традиционными пайплайнами

Код

#rendering #news #trisplat #photogrammetry

4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation

SOTA в генерации и реконструкция видео в 4D от Snap и KAUST, в списке авторов русские фамилии.

Может как воссоздать сцену по мультиракурсному видео, так и сгенерировать по тексту

Показывает изменения сцены во времени и пространстве, как если бы это было живое 4D изображение.

Под капотом гауссианы и еще что-то

Кода нет, ждем в снэпчате?

#4D #textto4d #videoto4D #gaussian #novelview #rendering #research

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

И тут же подобная работа от Adobe С КОДОМ‼️

Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.

Объединяет пространство и время, представляя объект как облако 4D гауссиан

Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100

Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)

Код должен быть, проверить не могу

#4D #videoto4D #gaussian #novelview #rendering #imageto4d

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

Реконструкция 4D сцен, снятых с ограниченного количества ракурсов. Недостающие данные дорисует, выдаст видео с нужного ракурса

Код ждем
Интерактивный вьюер

#4D #videoto4D #gaussian #novelview #rendering

Опубликован код метода представления объемных сцен CLIFT

Код

спасибо @Dmitriy_Ru6ts0v

#image2scene #rendering #novelview

Meschers: Geometry Processing of Impossible Objects

Рендерилка невозможных объектов типа фигур Эшера
Вместо того чтобы хранить трёхмерные координаты точек, хранит двумерные позиции и разницу глубин между линиями. Это позволяет отображать невозможные конструкции и работать с ними как с обычными 3D-объектами.

Можно сглаживать поверхности, вычислять расстояния и выполнять другие операции с геометрией.

Можно «обратить» рендеринг — то есть превратить обычный объект в невозможный, подгоняя его под заданное изображение. Чую лавину новых невозможных фигур.

Код ждем

#research #rendering

Distilled-3DGS: Distilled 3D Gaussian Splatting

Сокращает примерно в десять раз количество гауссиан необходимых для высококачественного рендеринга сцен, без потери качества изображения.

Обеспечивает качество рендеринга, сравнимое с лучшими существующими методами (#SOTA) или даже превосходящее их

Код ждем

#gaussian #rendering #novelview