DualGS: Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos
новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR
Выглядит очешуительно, кода нет
#gaussian #novelview #video2scene #realtime #mobile
новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR
Выглядит очешуительно, кода нет
#gaussian #novelview #video2scene #realtime #mobile
👍6❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Wonder Animation
Через полгода после покупки Wonder Dynamics Автодеском, нам показали обновку
Попробовать с VPN
#Video2scene
Через полгода после покупки Wonder Dynamics Автодеском, нам показали обновку
Самая инновационная часть технологии Wonder Animation Video to 3D scene заключается в ее способности снимать и редактировать сцены из шотов разной крупности. Затем технология использует искусственный интеллект для реконструкции сцены в трехмерном пространстве и сопоставляет положение и движение каждой камеры с персонажами и окружающей средой.
По сути, это создаёт виртуальное представление сцены, снятой вживую, с учётом всех настроек камеры и анимации тела и лица персонажа в одной 3D-сцене с возможностью редактирования элементов (анимации, персонажа, окружения, освещения и данных отслеживания камеры) в предпочитаемом программном обеспечении, таком как Maya, Blender или Unreal.
Попробовать с VPN
#Video2scene
🔥16🤯6👎1
GSTAR: Gaussian Surface Tracking and Reconstruction
Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином
GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).
Код ждем
#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian
Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином
GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).
Код ждем
#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian
👍5🔥2
MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors
Реконструкция сцен реального мира по одному видео в реальном времени, 15 кадров в секунду на RTX 4090
Код
#video2scene #rendering #videoto3D
Реконструкция сцен реального мира по одному видео в реальном времени, 15 кадров в секунду на RTX 4090
Код
#video2scene #rendering #videoto3D
👍19🤯6🔥2
Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering
Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam
SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)
Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.
Код
#gaussian #rendering #novelview #image2scene #video2scene #realtime
Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam
SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)
Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.
Код
#gaussian #rendering #novelview #image2scene #video2scene #realtime
🔥10
VGGT: Visual Geometry Grounded Transformer
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
👍3🔥1
Easi3R: Estimating Disentangled Motion from DUSt3R Without Training
Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео
Нэо потешный получился
Код
Посмотреть результаты интерактивно
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
Ловкость рук, и вот уже реконструктор 3D сцены по картинке DUSt3R реконструирует динамические сцены в 4D по видео
Нэо потешный получился
Код
Посмотреть результаты интерактивно
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors
И еще один похожий инструмент, реконструкция 4D сцены по видео.
C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме
Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе
Код
Демо
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
И еще один похожий инструмент, реконструкция 4D сцены по видео.
C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме
Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе
Код
Демо
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
❤3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction
Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей
Код
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей
Код
#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
🔥5
Media is too big
VIEW IN TELEGRAM
3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting
Рендер сцен на гауссианах от Nvidia
В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения
Код
#gaussian #video2scene #rendering #novelview #fisheye
Рендер сцен на гауссианах от Nvidia
В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения
Код
#gaussian #video2scene #rendering #novelview #fisheye
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
👍12
4D Gaussian Splatting SLAM
4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.
Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля
Код
#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.
Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля
Код
#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer
Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.
На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры
На сайте можно интерактивно покрутить несколько примеров
Код
#image2scene #video2scene #3d
Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.
На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры
На сайте можно интерактивно покрутить несколько примеров
Код
#image2scene #video2scene #3d
❤8🔥3👍2