V3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians

Динамические сцены на гауссианах приходят на мобилки в виде потокового видео. Метод потокового рендеринга сцен на мобилках.

Код ждем до октября

#gaussian2video #mobile #rendering

#gaussian #rendering

Код RayGauss тоже недавно выложили
Готовьте 24ГБ VRAM для качества как у авторов

Код

#gaussian #rendering #novelview

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

Новый метод представления поверхностей с помощью сетки, покрытой слоем гауссиан разной толщины.

Этот слой, называемый "Frosting", позволяет захватывать как сложные объемные эффекты, создаваемые материалами вроде волос или травы, так и плоские поверхности. Модель создается только из RGB-изображений и может быть визуализирована в реальном времени, а также анимирована с использованием традиционных инструментов анимации

🍒Ну и вишенка: есть аддон для блендера

Код
Blender

#blender #gaussian #rendering #realtime

Radiant Foam: Real-Time Differentiable Ray Tracing

Google Deepmind с соавторами придумали новый метод представления объемных сцен, который может вытеснить гауссианы.

называется Radiant Foam (лучевая пена, пена излучения???), позволяет быстро делать рейтрейс с качеством гауссиан

Помимо скорости, важно что этот метод позволяет пользоваться возможностями, которые есть в классическом рейтрейсинге - оптическими эффектами, например.

Наше представление основано на диаграмме Вороного (справа), которая делит пространство на ячейки в зависимости от близости к набору точек, называемых сайтами. Диаграмма Вороного является двойственной триангуляции Делоне (в центре), и, построив триангуляцию Делоне на основе набора обучаемых точек, мы можем сохранить структуру смежности, которая указывает, какие ячейки Вороного являются соседними.


Используя эту структуру смежности, мы можем легко вычислить пересечения лучей и ячеек, перебрав соседей каждой ячейки и найдя ближайшее пересечение фронтальной плоскости. Выполняя этот процесс итеративно, мы можем эффективно проводить лучи через пену, переходя от ячейки к ячейке. Этот алгоритм намного эффективнее обычных методов ускорения трассировки лучей, которые полагаются на иерархические структуры ускорения с логарифмической сложностью запроса.


Наш метод также позволяет избежать проблем, обычно связанных с оптимизацией дискретной сетки, поскольку границы ячеек диаграммы Вороного непрерывно изменяются при изменении положения объектов. Это связано с тем, что диаграммы Вороного обладают свойством, при котором дискретные изменения в связности эффективно скрываются на гранях с нулевой площадью поверхности, в то время как другие варианты, например использование сетки Делоне напрямую, привели бы к большим разрывам в поле при каждом изменении связности.


В результате получается гибкая, дифференцируемая модель, которая может выполнять трассировку лучей в реальном времени со скоростью, значительно превышающей аппаратную трассировку лучей по Гауссу, при этом качество реконструкции почти соответствует качеству методов сплайсинга по Гауссу

Код ждем 14 февраля

#raytracing #rendering #news #gaussian #realtime

3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

Рендер сцен на гауссианах от Nvidia

В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения

Код

#gaussian #video2scene #rendering #novelview #fisheye

Krea Stage + GPT-4o

Говорят, GPT-4o в Krea AI помогает рендерить Stages с консистентными персонажами и окружением

#novelview #rendering #imageediting #personalization

A3D

Гибрид 3D-редактора с генератором картинок.

- контроль позы простыми болванками
- генерация 3D-модели с помощью Gen AI (Fal.ai )
- ИИ-рендер по глубине/цвету с помощью ComfyUI или Fal.ai
- драгэндроп персонажей (тестировалось с Mixamo characters)

#3dediting #contolnet #3dtoimage #rendering

Triangle Splatting for Real-Time Radiance Field Rendering

Новый способ представления и рендера объемных сцен от DeepMind и Ко на треугольных сплатах. Конец гегемонии гауссовых сплатов?

- Высокая визуальная точность. В отличие от гауссиан сохраняет четкость в мелких деталях

- Быстрая сходимость

- Скорость. Более 2400 FPS при разрешении 1280×720 на RTX4090

- Совместим с традиционными пайплайнами

Код

#rendering #news #trisplat #photogrammetry

4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation

SOTA в генерации и реконструкция видео в 4D от Snap и KAUST, в списке авторов русские фамилии.

Может как воссоздать сцену по мультиракурсному видео, так и сгенерировать по тексту

Показывает изменения сцены во времени и пространстве, как если бы это было живое 4D изображение.

Под капотом гауссианы и еще что-то

Кода нет, ждем в снэпчате?

#4D #textto4d #videoto4D #gaussian #novelview #rendering #research

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

И тут же подобная работа от Adobe С КОДОМ‼️

Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.

Объединяет пространство и время, представляя объект как облако 4D гауссиан

Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100

Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)

Код должен быть, проверить не могу

#4D #videoto4D #gaussian #novelview #rendering #imageto4d

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

Реконструкция 4D сцен, снятых с ограниченного количества ракурсов. Недостающие данные дорисует, выдаст видео с нужного ракурса

Код ждем
Интерактивный вьюер

#4D #videoto4D #gaussian #novelview #rendering

Опубликован код метода представления объемных сцен CLIFT

Код

спасибо @Dmitriy_Ru6ts0v

#image2scene #rendering #novelview