Нейронавт | Нейросети в творчестве
9.24K subscribers
3.53K photos
3.05K videos
40 files
4.02K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
加入频道
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

Вы должны это срочно увидеть!
У HyperReel появился конкурент и какой.
Гауссианы + временная составляющая = рендеринг динамической сцены с заданного ракурса. Мне пока непонятно сколько входных ракурсов надо чтобы это работало. Известно что тестировали на синетитических данных и датасетах реальных видео, снятых одновременно на от 1 до 15 камер. Видимо, как-то должно работать и на входном видео с одной камеры.

Короче, они описали гауссианами не только форму, но и движение и деформацию. При этом рендеринг в реальном времени, 70 кадров в секунду при разрешении 800 * 800 на RTX 3090, качество не ниже чем у конкурентов.

Код
Колаб

#novelveiw #rendering #stabilization #video2video #video2scene
4👍4
Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

Рендер сцен гауссианами в реальном времени. На входе нужно видео с нескольких камер.

На сравнении выглядит еще и качественне конкурентов

Код
Скачать вьюер и демо модельки

#realtime #videoto3D #video2scene #rendering #gaussian
👍7
Nerfies: Deformable Neural Radiance Fields

Разработка Google Research превращает селфи-видео в #nerf сцену, портреты или видео с заданного ракурса. Пока требует несколько GPU для обучения, но колаб ноутбуки на гитхабе есть, можете попробовать запустить.

Код

#video2video #video2scene #video2depth
🔥1
3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos

На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering в создании Free-Viewpoint Videos (FVV)

Обучается (для одного кадра?...) за 12 секунд. Рендерит 200 кадров в секунду

Код ожидается в июне 2024, но это неточно

#novelveiw #rendering #stabilization #video2video #video2scene #FVV
👍2👏2
Media is too big
VIEW IN TELEGRAM
Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Реконструкция сцен реального мира по RGBD - видео на гауссианах. Канал глубины решает, ну и архитектура тоже

Код

#gaussian #video2scene #rendering #videoto3D
Media is too big
VIEW IN TELEGRAM
Shape of Motion: 4D Reconstruction from a Single Video

Вам понравится.
Реконструкция динамической 3D сцены по видео с одного ракурса. Реконструкция построена на объединении точек в жесткие группы по векторам движения, трекинге, оценке глубины.

Код

#videoto3d #video2scene #video2video #novelview
7🔥6👍3
DualGS: Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos

новая модель представления данных на гауссианах для объемных видео человеков, с высокой точностью захвата действия и рендера.
Говорят что работает на недорогих мобилках и VR

Выглядит очешуительно, кода нет

#gaussian #novelview #video2scene #realtime #mobile
👍61
This media is not supported in your browser
VIEW IN TELEGRAM
Wonder Animation

Через полгода после покупки Wonder Dynamics Автодеском, нам показали обновку

Самая инновационная часть технологии Wonder Animation Video to 3D scene заключается в ее способности снимать и редактировать сцены из шотов разной крупности. Затем технология использует искусственный интеллект для реконструкции сцены в трехмерном пространстве и сопоставляет положение и движение каждой камеры с персонажами и окружающей средой.

По сути, это создаёт виртуальное представление сцены, снятой вживую, с учётом всех настроек камеры и анимации тела и лица персонажа в одной 3D-сцене с возможностью редактирования элементов (анимации, персонажа, окружения, освещения и данных отслеживания камеры) в предпочитаемом программном обеспечении, таком как Maya, Blender или Unreal.


Попробовать с VPN

#Video2scene
🔥16🤯6👎1
GSTAR: Gaussian Surface Tracking and Reconstruction

Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином

GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).

Код ждем

#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian
👍5🔥2
MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors

Реконструкция сцен реального мира по одному видео в реальном времени, 15 кадров в секунду на RTX 4090

Код

#video2scene #rendering #videoto3D
👍19🤯6🔥2
Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering

Очередная работа Nvidia в направлении реконструкции/рендера/растеризации объемных сцен.
Выглядит как, ответ Radiant Foam

SVRaster стремится объединить скорость рендеринга гауссиан с преимуществами воксельных сеток без нейросетей и гауссиан (я правильно прочитал?)

Принцип как в nerf и 3DGS - на вход подаем ограниченный набор ракурсов сцены, на выходе вид с любого ракурса.

Код

#gaussian #rendering #novelview #image2scene #video2scene #realtime
🔥10
VGGT: Visual Geometry Grounded Transformer

Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.

На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.

Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях

Код
Демо

#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
👍3🔥1
GeometryCrafter: Consistent Geometry Estimation for Open-world Videos with Diffusion Priors

И еще один похожий инструмент, реконструкция 4D сцены по видео.

C тучей примеров на сайте, с демонстрацией работы (своего?) генератора глубины, с примерами работы по аниме

Кажется, в прошлом месяце такая штука могла бы сэкономить мне неделю на клинапе

Код
Демо

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей

Код

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene
🔥5
Media is too big
VIEW IN TELEGRAM
3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

Рендер сцен на гауссианах от Nvidia

В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения

Код

#gaussian #video2scene #rendering #novelview #fisheye
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка потока сцены (не знаю о чем речь)

- сегментация движущихся объектов

Код ждем

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
👍12
4D Gaussian Splatting SLAM

4DGS-SLAM - реконструкция сцен в движении по входному видео RGBD.

Делит сцену на статические и динамические Gaussian-примитивы. Отслеживает движение объектов, генерирует маски движения. Вуаля

Код

#gaussian #video2scene #rendering #rgbd2scene #rgbd2gaussian
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer

Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.

На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры

На сайте можно интерактивно покрутить несколько примеров

Код

#image2scene #video2scene #3d
4🔥1