Нейронавт | Нейросети в творчестве
9.49K subscribers
3.67K photos
3.17K videos
40 files
4.12K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
加入频道
DualGS: Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos

новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR

Выглядит очешуительно, кода нет

#gaussian #novelview #video2scene #realtime #mobile
👍61
This media is not supported in your browser
VIEW IN TELEGRAM
Wonder Animation

Через полгода после покупки Wonder Dynamics Автодеском, нам показали обновку

Самая инновационная часть технологии Wonder Animation Video to 3D scene заключается в ее способности снимать и редактировать сцены из шотов разной крупности. Затем технология использует искусственный интеллект для реконструкции сцены в трехмерном пространстве и сопоставляет положение и движение каждой камеры с персонажами и окружающей средой.

По сути, это создаёт виртуальное представление сцены, снятой вживую, с учётом всех настроек камеры и анимации тела и лица персонажа в одной 3D-сцене с возможностью редактирования элементов (анимации, персонажа, окружения, освещения и данных отслеживания камеры) в предпочитаемом программном обеспечении, таком как Maya, Blender или Unreal.


Попробовать с VPN

#Video2scene
🔥16🤯6👎1
GSTAR: Gaussian Surface Tracking and Reconstruction

Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином

GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).

Код ждем

#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian
👍5🔥2
MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors

Реконструкция сцен реального мира по одному видео в реальном времени, 15 кадров в секунду на RTX 4090

Код

#video2scene #rendering #videoto3D
👍19🤯6🔥2
Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering

Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam

SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)

Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.

Код

#gaussian #rendering #novelview #image2scene #video2scene #realtime
🔥10
VGGT: Visual Geometry Grounded Transformer

Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.

На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.

Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях

Код
Демо

#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
👍3🔥1
GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors

И еще один похожий инструмент, реконструкция 4D сцены по видео.

C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме

Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе

Код
Демо

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей

Код

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
🔥5
Media is too big
VIEW IN TELEGRAM
3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

Рендер сцен на гауссианах от Nvidia

В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения

Код

#gaussian #video2scene #rendering #novelview #fisheye
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка потока сцены (не знаю о чем речь)

- сегментация движущихся объектов

Код ждем

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
👍12
4D Gaussian Splatting SLAM

4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.

Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля

Код

#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer

Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.

На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры

На сайте можно интерактивно покрутить несколько примеров

Код

#image2scene #video2scene #3d
8🔥3👍2