This media is not supported in your browser
VIEW IN TELEGRAM
DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video
Трекер группы точек, в том числе перекрытых переднеплановыми объектами. На приведенных примерах показывает себя лучше чем CoTracker
Код
#tracking #opticalflow
Трекер группы точек, в том числе перекрытых переднеплановыми объектами. На приведенных примерах показывает себя лучше чем CoTracker
Код
#tracking #opticalflow
👍10
COMO: Compact Mapping and Odometry
Восстановление 3D сцены и трекинг камеры по одному ракурсу. Камера-мэппинг на максималках
Код
#tracking #videoto3D #imageto3D #novelview
Восстановление 3D сцены и трекинг камеры по одному ракурсу. Камера-мэппинг на максималках
Код
#tracking #videoto3D #imageto3D #novelview
🔥4❤1👌1
This media is not supported in your browser
VIEW IN TELEGRAM
TAPIR: Towards Spatial Intelligence via Point Tracking
Трекинг видимых и перекрытых точек от гугл/deepmind. Конкурент CoTracker и DINO-Tracker. Я уже писал о нем. И о, чудо. Оказывается, код уже доступен. На всякий случай, ну а вдруг вам нужно - там есть модуль в помощь роботизированным манипуляторам
Гитхаб
#tracking #opticalflow
Трекинг видимых и перекрытых точек от гугл/deepmind. Конкурент CoTracker и DINO-Tracker. Я уже писал о нем. И о, чудо. Оказывается, код уже доступен. На всякий случай, ну а вдруг вам нужно - там есть модуль в помощь роботизированным манипуляторам
Гитхаб
#tracking #opticalflow
👍9
This media is not supported in your browser
VIEW IN TELEGRAM
FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
NVIDIA. Трекер положения любого объекта. Чтобы задать объект для отслеживания надо показать несколько референсных его изображений или CAD модель.
Код
#tracking #poseestimation #image2pose #video2pose
NVIDIA. Трекер положения любого объекта. Чтобы задать объект для отслеживания надо показать несколько референсных его изображений или CAD модель.
Код
#tracking #poseestimation #image2pose #video2pose
👍13
This media is not supported in your browser
VIEW IN TELEGRAM
NaRCan: Natural Refined Canonical Image with Integration of Diffusion Prior for Video Editing
Редактор видео. Считывает деформации, и по ним лепит результат.
Судя по демо, быстрый как понос.
- матчмувинг
- стилизация по тексту
- трекинг заданного сегмента
Код ждем
Демо
#videoediting #video2video #stylization #matchmoving #tracking
Редактор видео. Считывает деформации, и по ним лепит результат.
Судя по демо, быстрый как понос.
- матчмувинг
- стилизация по тексту
- трекинг заданного сегмента
Код ждем
Демо
#videoediting #video2video #stylization #matchmoving #tracking
👍4😁2
This media is not supported in your browser
VIEW IN TELEGRAM
TAPTR: Tracking Any Point with TRansformers as Detection
Еще один трекер точек на видео. Построен на том что отслеживание точек имеет большое сходство с обнаружением и отслеживанием объектов.
Похоже, он, как и конкуренты, может отслеживать скрытые точки, но авторы не очень стремятся показать это на примерах
Код
Демо (трек области)
Демо (трек точек)
#tracking
Еще один трекер точек на видео. Построен на том что отслеживание точек имеет большое сходство с обнаружением и отслеживанием объектов.
Похоже, он, как и конкуренты, может отслеживать скрытые точки, но авторы не очень стремятся показать это на примерах
Код
Демо (трек области)
Демо (трек точек)
#tracking
👍7❤2
CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos
Трекер группы точек. Наследник CoTracker и ряда других работ и по бенчмаркам лучше их всех.
Код
Демо
Колаб
#tracking #opticalflow
Трекер группы точек. Наследник CoTracker и ряда других работ и по бенчмаркам лучше их всех.
Код
Демо
Колаб
#tracking #opticalflow
🔥10
This media is not supported in your browser
VIEW IN TELEGRAM
EfficientTAM: Efficient Track Anything
Запрещенная Meta конкурирует с самураем на поле сегментации видео.
За основу взяли SAM2 Video Predictor
Код
Демо
#segmentation #image2mask #video2mask #tracking
Запрещенная Meta конкурирует с самураем на поле сегментации видео.
За основу взяли SAM2 Video Predictor
Код
Демо
#segmentation #image2mask #video2mask #tracking
🔥5❤1
Align3R: Aligned Monocular Depth Estimation for Dynamic Videos
Генерирует для видео консистентные глубину, облака точек, камеру
Код
Интерактивная галерея
#video2depth #video2pointcloud #video2camera #tracking
Генерирует для видео консистентные глубину, облака точек, камеру
Код
Интерактивная галерея
#video2depth #video2pointcloud #video2camera #tracking
🔥10❤2
This media is not supported in your browser
VIEW IN TELEGRAM
В трекере точек на видео TAPTR реализовали потоковый режим, позволяющий обрабатывать видео любой длины на RTX 3090
Демо TAPTRv3
#tracking
Демо TAPTRv3
#tracking
🔥9👍2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking
Очередной трекер группы точек.
Такое может пригодиться для точных манипуляций со сложными движущимися объектами на видео
Код
#tracking #opticalflow
Очередной трекер группы точек.
Такое может пригодиться для точных манипуляций со сложными движущимися объектами на видео
Код
#tracking #opticalflow
🔥10
Нейронавт | Нейросети в творчестве
CameraHMR: Aligning People with Perspective Реконструкция 3D позы и формы человека по одному изображению или видео с учетом перспективы камеры Есть 4 ключевых фактора, которые делают его точным и надежным: 1. Чтобы получить точную 3D-форму и позу, а также…
This media is not supported in your browser
VIEW IN TELEGRAM
WHAC: World-grounded Humans and Cameras
Реконструкция позы и меша человека, а также ракурса/движения камеры (трекинг) по одному монокулярному (не стерео) видео
За позу отвечает SMPLest-X
Код
#video2pose #video2mesh #videoto3d #tracking #poseestimation #humanreconstruction
Реконструкция позы и меша человека, а также ракурса/движения камеры (трекинг) по одному монокулярному (не стерео) видео
За позу отвечает SMPLest-X
Код
#video2pose #video2mesh #videoto3d #tracking #poseestimation #humanreconstruction
👍10
VGGT: Visual Geometry Grounded Transformer
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
Реконструкция всех ключевых 3D-атрибутов сцены от Facebookresearch.
На входе одна картинка, набор видов или видео, на выходе - параметры камеры, карты точек, карты глубины и 3D-треки точек, из одного, нескольких или сотен ракурсов.
Полюбуйтесь на Планетный Экспресс, собранный из одного короткого шота. GLB файл в комментариях
Код
Демо
#image2scene #imageto3d #video2scene #videoto3d #image2mesh #tracking #image2camera #video2mesh #video2depth
👍3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Self-Supervised Learning of Motion Concepts by Optimizing Counterfactuals
Ура, новый трекер группы точек от Стэнфорда.
Несмотря на то что все они неточные, они мне уже пригождались там где все планарные и точечные трекеры оказывались бессильны
Код
Колаб
#tracking #opticalflow
Ура, новый трекер группы точек от Стэнфорда.
Несмотря на то что все они неточные, они мне уже пригождались там где все планарные и точечные трекеры оказывались бессильны
Код
Колаб
#tracking #opticalflow
🔥5👍3
SegAnyMo: Code for Segment Any Motion in Videos
Сегментирование движущихся объектов на видео без человеческих аннотаций
Под капотом DINO и SAM2
Видео с отслеживанием точек это как раз промежуточная работа DINO
Код
#segmentation #video2mask #tracking
Сегментирование движущихся объектов на видео без человеческих аннотаций
Под капотом DINO и SAM2
Видео с отслеживанием точек это как раз промежуточная работа DINO
Код
#segmentation #video2mask #tracking
👍3❤1
This media is not supported in your browser
VIEW IN TELEGRAM
BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation
Трекер положения объекта в 3D с баундинг боксом в качестве промежуточного результата
Код ждем
Демо
#tracking #video2pose
Трекер положения объекта в 3D с баундинг боксом в качестве промежуточного результата
Код ждем
Демо
#tracking #video2pose
🔥5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
SpatialTrackerV2: 3D Point Tracking Made Easy
Ура, новый трекер. Создан при участии ByteDance
Определяет движение камеры, геометрию сцены и траектории точек в пространстве. Работает в режиме реального времени
Код
Демо
#tracking #realtime
Ура, новый трекер. Создан при участии ByteDance
Определяет движение камеры, геометрию сцены и траектории точек в пространстве. Работает в режиме реального времени
Код
Демо
#tracking #realtime
🔥11👍1
This media is not supported in your browser
VIEW IN TELEGRAM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance
Умеет:
- видео с нового ракурса
- реконструкция геометрии сцены
- отслеживание 3D-точек
- оценка потока сцены (не знаю о чем речь)
- сегментация движущихся объектов
Код ждем
#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth
👍12
ViPE: Video Pose Engine for 3D Geometric Perception
Трекер камеры и плотностной глубины видео от NVIDIA.
Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.
Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс
Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом
На сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте
Код
#video2depth #tracking #camera
Трекер камеры и плотностной глубины видео от NVIDIA.
Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.
Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс
Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом
--pipeline no_vdaНа сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте
Код
#video2depth #tracking #camera
👍6🔥3