Нейронавт | Нейросети в творчестве

Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation

Генератор глубины разрешением до 4К для видео. Но не для любого, нужны данные с лидара. У потребительских лидаров, таких как в айфоне, например, очень кислое разрешение, что-то вроде 256x192. Эти данные плюс RGB видео используются как промпт для генерации высококачественной карты глубины

Код
Демо
Код неофициальный
Пример результата на rerun.io покрутить

#rgbd #video2depth

❤8

1.58K views14:19

2:03

VGGT: Visual Geometry Grounded Transformer

Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.

На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.

Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях

Код
Демо

#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth

👍3🔥1

1.96K views09:04

0:01

0:36

Seurat: From Moving Points to Depth

Еще один трекер точек/генератор глубины для видео. Глубину предсказывает по траекториям точек, не по картинке как обычно делают остальные модели

Код ждем
Демо ждем

#trtacking #video2depth

❤3

1.84K views15:46

0:37

Depth Anything At Any Condition (DepthAnything-AC)

Генератор глубины изображения. Работает в различных условиях, включая изменения освещения, снег-дождь. Успешно справляется когда есть искажения, вызванные сенсорами.

Представляет собой зафантюненный DepthAnything-V2

Код
Демо
Веса

#video2depth #depth #image2depth

❤9👍5

1.72K views07:10

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка потока сцены (не знаю о чем речь)

- сегментация движущихся объектов

Код ждем

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth

👍12

1.68K viewsedited 08:11

0:20

0:10

DAViD: Data-efficient and Accurate Vision Models from Synthetic Data
Модель от Microsoft, обученная на синтетическом датасете людей.

Умеет:
- глубину
- нормали
- отделяет людей от фона

Гитхаб
Jupiter / Colab

#video2normal #video2depth #segmentation #bgremoval #normal #depth

👍8🤔7🔥2❤1😁1

1.56K views16:19

0:22

ViPE: Video Pose Engine for 3D Geometric Perception

Трекер камеры и плотностной глубины видео от NVIDIA.

Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.

Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс

Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом --pipeline no_vda

На сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте

Код

#video2depth #tracking #camera

👍6🔥3

1.6K views09:08

1:25

DINOv3: Self-supervised learning for vision at unprecedented scale

Новая версия модели от запрещенной в РФ Meta AI

Модель универсальная, подходит почти для любых задач компьютерного зрения: детекция, сегментация, предсказание глубины, плотности

Использует метод самообучения (SSL) без необходимости в данных с метками, что позволяет ей обучаться на огромных объёмах изображений без человеческого участия.

Благодаря этому превосходит даже специализированные модели

Есть несколько вариантов весов под разные вычислительные мощности

Гитхаб
HF

#image2depth #segmentation #video2mask #video2depth

🔥8👍2❤1

2.06K views06:16

0:32

0:36