Align3R: Aligned Monocular Depth Estimation for Dynamic Videos
Генерирует для видео консистентные глубину, облака точек, камеру
Код
Интерактивная галерея
#video2depth #video2pointcloud #video2camera #tracking
Генерирует для видео консистентные глубину, облака точек, камеру
Код
Интерактивная галерея
#video2depth #video2pointcloud #video2camera #tracking
🔥10❤2
This media is not supported in your browser
VIEW IN TELEGRAM
В трекере точек на видео TAPTR реализовали потоковый режим, позволяющий обрабатывать видео любой длины на RTX 3090
Демо TAPTRv3
#tracking
Демо TAPTRv3
#tracking
🔥9👍2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking
Очередной трекер группы точек.
Такое может пригодиться для точных манипуляций со сложными движущимися объектами на видео
Код
#tracking #opticalflow
Очередной трекер группы точек.
Такое может пригодиться для точных манипуляций со сложными движущимися объектами на видео
Код
#tracking #opticalflow
🔥10
Нейронавт | Нейросети в творчестве
CameraHMR: Aligning People with Perspective Реконструкция 3D позы и формы человека по одному изображению или видео с учетом перспективы камеры Есть 4 ключевых фактора, которые делают его точным и надежным: 1. Чтобы получить точную 3D-форму и позу, а также…
This media is not supported in your browser
VIEW IN TELEGRAM
WHAC: World-grounded Humans and Cameras
Реконструкция позы и меша человека, а также ракурса/движения камеры (трекинг) по одному монокулярному (не стерео) видео
За позу отвечает SMPLest-X
Код
#video2pose #video2mesh #videoto3d #tracking #poseestimation #humanreconstruction
Реконструкция позы и меша человека, а также ракурса/движения камеры (трекинг) по одному монокулярному (не стерео) видео
За позу отвечает SMPLest-X
Код
#video2pose #video2mesh #videoto3d #tracking #poseestimation #humanreconstruction
👍10
VGGT: Visual Geometry Grounded Transformer
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
👍3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals
Ура, новый трекер группы точек от Стэнфорда.
Несмотря на то что все они неточные, они мне уже пригождались там где все планарные и точечные трекеры оказывались бессильны
Код
Колаб
#tracking #opticalflow
Ура, новый трекер группы точек от Стэнфорда.
Несмотря на то что все они неточные, они мне уже пригождались там где все планарные и точечные трекеры оказывались бессильны
Код
Колаб
#tracking #opticalflow
🔥5👍3
SegAnyMo: Code for Segment Any Motion in Videos
Сегментирование движущихся объектов на видео без человеческих аннотаций
Под капотом DINO и SAM2
Видео с отслеживанием точек это как раз промежуточная работа DINO
Код
#segmentation #video2mask #tracking
Сегментирование движущихся объектов на видео без человеческих аннотаций
Под капотом DINO и SAM2
Видео с отслеживанием точек это как раз промежуточная работа DINO
Код
#segmentation #video2mask #tracking
👍3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation
Трекер положения объекта в 3D с баундинг боксом в качестве промежуточного результата
Код ждем
Демо
#tracking #video2pose
Трекер положения объекта в 3D с баундинг боксом в качестве промежуточного результата
Код ждем
Демо
#tracking #video2pose
🔥5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
SpatialTrackerV2: 3D Point Tracking Made Easy
Ура, новый трекер. Создан при участии ByteDance
Определяет движение камеры, геометрию сцены и траектории точек в пространстве. Работает в режиме реального времени
Код
Демо
#tracking #realtime
Ура, новый трекер. Создан при участии ByteDance
Определяет движение камеры, геометрию сцены и траектории точек в пространстве. Работает в режиме реального времени
Код
Демо
#tracking #realtime
🔥11👍1
This media is not supported in your browser
VIEW IN TELEGRAM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
👍12
ViPE: Video Pose Engine for 3D Geometric Perception
Трекер камеры и плотностной глубины видео от NVIDIA.
Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.
Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс
Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом
На сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте
Код
#video2depth #tracking #camera
Трекер камеры и плотностной глубины видео от NVIDIA.
Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.
Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс
Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом
--pipeline no_vdaНа сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте
Код
#video2depth #tracking #camera
👍6🔥3
Media is too big
VIEW IN TELEGRAM
MVTracker: Multi-View 3D Point Tracking
Трекинг (отслеживание) 3D-точек в динамических сценах с использованием нескольких камер/ На сайте есть интерактивный вьюер покрутить результаты в 3D
Для полноценной работы нужно 80GB VRAM. Для небольшого оверфитинг теста 24GB
Вдохновлено SpaTracker, CoTracker, DUSt3R
Код
Демо ждем
#tracking #videoto3d #video2dense
Трекинг (отслеживание) 3D-точек в динамических сценах с использованием нескольких камер/ На сайте есть интерактивный вьюер покрутить результаты в 3D
Для полноценной работы нужно 80GB VRAM. Для небольшого оверфитинг теста 24GB
Вдохновлено SpaTracker, CoTracker, DUSt3R
Код
Демо ждем
#tracking #videoto3d #video2dense
👍4