4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
Вы должны это срочно увидеть!
У HyperReel появился конкурент и какой.
Гауссианы + временная составляющая = рендеринг динамической сцены с заданного ракурса. Мне пока непонятно сколько входных ракурсов надо чтобы это работало. Известно что тестировали на синетитических данных и датасетах реальных видео, снятых одновременно на от 1 до 15 камер. Видимо, как-то должно работать и на входном видео с одной камеры.
Короче, они описали гауссианами не только форму, но и движение и деформацию. При этом рендеринг в реальном времени, 70 кадров в секунду при разрешении 800 * 800 на RTX 3090, качество не ниже чем у конкурентов.
Код
Колаб
#novelveiw #rendering #stabilization #video2video #video2scene
Вы должны это срочно увидеть!
У HyperReel появился конкурент и какой.
Гауссианы + временная составляющая = рендеринг динамической сцены с заданного ракурса. Мне пока непонятно сколько входных ракурсов надо чтобы это работало. Известно что тестировали на синетитических данных и датасетах реальных видео, снятых одновременно на от 1 до 15 камер. Видимо, как-то должно работать и на входном видео с одной камеры.
Короче, они описали гауссианами не только форму, но и движение и деформацию. При этом рендеринг в реальном времени, 70 кадров в секунду при разрешении 800 * 800 на RTX 3090, качество не ниже чем у конкурентов.
Код
Колаб
#novelveiw #rendering #stabilization #video2video #video2scene
❤4👍4
Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
Рендер сцен гауссианами в реальном времени. На входе нужно видео с нескольких камер.
На сравнении выглядит еще и качественне конкурентов
Код
Скачать вьюер и демо модельки
#realtime #videoto3D #video2scene #rendering #gaussian
Рендер сцен гауссианами в реальном времени. На входе нужно видео с нескольких камер.
На сравнении выглядит еще и качественне конкурентов
Код
Скачать вьюер и демо модельки
#realtime #videoto3D #video2scene #rendering #gaussian
👍7
Nerfies: Deformable Neural Radiance Fields
Разработка Google Research превращает селфи-видео в #nerf сцену, портреты или видео с заданного ракурса. Пока требует несколько GPU для обучения, но колаб ноутбуки на гитхабе есть, можете попробовать запустить.
Код
#video2video #video2scene #video2depth
Разработка Google Research превращает селфи-видео в #nerf сцену, портреты или видео с заданного ракурса. Пока требует несколько GPU для обучения, но колаб ноутбуки на гитхабе есть, можете попробовать запустить.
Код
#video2video #video2scene #video2depth
🔥1
3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos
На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering в создании Free-Viewpoint Videos (FVV)
Обучается (для одного кадра?...) за 12 секунд. Рендерит 200 кадров в секунду
Код ожидается в июне 2024, но это неточно
#novelveiw #rendering #stabilization #video2video #video2scene #FVV
На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering в создании Free-Viewpoint Videos (FVV)
Обучается (для одного кадра?...) за 12 секунд. Рендерит 200 кадров в секунду
Код ожидается в июне 2024, но это неточно
#novelveiw #rendering #stabilization #video2video #video2scene #FVV
👍2👏2
Media is too big
VIEW IN TELEGRAM
Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting
Реконструкция сцен реального мира по RGBD - видео на гауссианах. Канал глубины решает, ну и архитектура тоже
Код
#gaussian #video2scene #rendering #videoto3D
Реконструкция сцен реального мира по RGBD - видео на гауссианах. Канал глубины решает, ну и архитектура тоже
Код
#gaussian #video2scene #rendering #videoto3D
Опубликован код 3DGStream. Рефакторизованный код выложат после CVPR 2024
Код
#novelveiw #rendering #stabilization #video2video #video2scene #FVV
Код
#novelveiw #rendering #stabilization #video2video #video2scene #FVV
Telegram
Нейронавт | Нейросети в творчестве
3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos
На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering…
На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering…
❤3
Media is too big
VIEW IN TELEGRAM
Shape of Motion: 4D Reconstruction from a Single Video
Вам понравится.
Реконструкция динамической 3D сцены по видео с одного ракурса. Реконструкция построена на объединении точек в жесткие группы по векторам движения, трекинге, оценке глубины.
Код
#videoto3d #video2scene #video2video #novelview
Вам понравится.
Реконструкция динамической 3D сцены по видео с одного ракурса. Реконструкция построена на объединении точек в жесткие группы по векторам движения, трекинге, оценке глубины.
Код
#videoto3d #video2scene #video2video #novelview
❤7🔥6👍3
DualGS: Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos
новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR
Выглядит очешуительно, кода нет
#gaussian #novelview #video2scene #realtime #mobile
новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR
Выглядит очешуительно, кода нет
#gaussian #novelview #video2scene #realtime #mobile
👍6❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Wonder Animation
Через полгода после покупки Wonder Dynamics Автодеском, нам показали обновку
Попробовать с VPN
#Video2scene
Через полгода после покупки Wonder Dynamics Автодеском, нам показали обновку
Самая инновационная часть технологии Wonder Animation Video to 3D scene заключается в ее способности снимать и редактировать сцены из шотов разной крупности. Затем технология использует искусственный интеллект для реконструкции сцены в трехмерном пространстве и сопоставляет положение и движение каждой камеры с персонажами и окружающей средой.
По сути, это создаёт виртуальное представление сцены, снятой вживую, с учётом всех настроек камеры и анимации тела и лица персонажа в одной 3D-сцене с возможностью редактирования элементов (анимации, персонажа, окружения, освещения и данных отслеживания камеры) в предпочитаемом программном обеспечении, таком как Maya, Blender или Unreal.
Попробовать с VPN
#Video2scene
🔥16🤯6👎1
GSTAR: Gaussian Surface Tracking and Reconstruction
Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином
GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).
Код ждем
#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian
Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином
GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).
Код ждем
#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian
👍5🔥2
MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors
Реконструкция сцен реального мира по одному видео в реальном времени, 15 кадров в секунду на RTX 4090
Код
#video2scene #rendering #videoto3D
Реконструкция сцен реального мира по одному видео в реальном времени, 15 кадров в секунду на RTX 4090
Код
#video2scene #rendering #videoto3D
👍19🤯6🔥2
Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering
Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam
SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)
Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.
Код
#gaussian #rendering #novelview #image2scene #video2scene #realtime
Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam
SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)
Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.
Код
#gaussian #rendering #novelview #image2scene #video2scene #realtime
🔥10
VGGT: Visual Geometry Grounded Transformer
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
👍3🔥1
Easi3R: Estimating Disentangled Motion from DUSt3R Without Training
Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео
Нэо потешный получился
Код
Посмотреть результаты интерактивно
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео
Нэо потешный получился
Код
Посмотреть результаты интерактивно
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors
И еще один похожий инструмент, реконструкция 4D сцены по видео.
C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме
Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе
Код
Демо
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
И еще один похожий инструмент, реконструкция 4D сцены по видео.
C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме
Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе
Код
Демо
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
❤3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction
Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей
Код
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей
Код
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
🔥5
Media is too big
VIEW IN TELEGRAM
3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting
Рендер сцен на гауссианах от Nvidia
В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения
Код
#gaussian #video2scene #rendering #novelview #fisheye
Рендер сцен на гауссианах от Nvidia
В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения
Код
#gaussian #video2scene #rendering #novelview #fisheye
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
👍12
4D Gaussian Splatting SLAM
4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.
Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля
Код
#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.
Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля
Код
#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer
Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.
На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры
На сайте можно интерактивно покрутить несколько примеров
Код
#image2scene #video2scene #3d
Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.
На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры
На сайте можно интерактивно покрутить несколько примеров
Код
#image2scene #video2scene #3d
❤4🔥1