Отличная новость.
CoTracker теперь можно погонять на huggingface

Только посмотртите, он пытается отследить даже руку, уходящую за кадр

Демо

#tracking #opticalflow

#mocap #tracking

DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video

Трекер группы точек, в том числе перекрытых переднеплановыми объектами. На приведенных примерах показывает себя лучше чем CoTracker

Код

#tracking #opticalflow

TAPIR: Towards Spatial Intelligence via Point Tracking

Трекинг видимых и перекрытых точек от гугл/deepmind. Конкурент CoTracker и DINO-Tracker. Я уже писал о нем. И о, чудо. Оказывается, код уже доступен. На всякий случай, ну а вдруг вам нужно - там есть модуль в помощь роботизированным манипуляторам

Гитхаб

#tracking #opticalflow

FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

NVIDIA. Трекер положения любого объекта. Чтобы задать объект для отслеживания надо показать несколько референсных его изображений или CAD модель.

Код

#tracking #poseestimation #image2pose #video2pose

NaRCan: Natural Refined Canonical Image with Integration of Diffusion Prior for Video Editing

Редактор видео. Считывает деформации, и по ним лепит результат.
Судя по демо, быстрый как понос.
- матчмувинг
- стилизация по тексту
- трекинг заданного сегмента

Код ждем
Демо

#videoediting #video2video #stylization #matchmoving #tracking

TAPTR: Tracking Any Point with TRansformers as Detection

Еще один трекер точек на видео. Построен на том что отслеживание точек имеет большое сходство с обнаружением и отслеживанием объектов.

Похоже, он, как и конкуренты, может отслеживать скрытые точки, но авторы не очень стремятся показать это на примерах

Код

Демо (трек области)
Демо (трек точек)

#tracking

EfficientTAM: Efficient Track Anything

Запрещенная Meta конкурирует с самураем на поле сегментации видео.
За основу взяли SAM2 Video Predictor

Код
Демо

#segmentation #image2mask #video2mask #tracking