Кто хотел Depth Anything для видео?
У нас есть его

Демо

#image2depth #video2depth

ChronoDepth: Learning Temporally Consistent Video Depth from Video Diffusion Priors

Генератор консистентной карты глубины для видео.
Как я посмотрю, консистентность у них скачкообразная, но вроде есть какие-то рульки которые можно крутить. И таких проектов мало, так что ждем код и не ноем

Код ждем

#depth #depth2video #video2depth

Опубликован код чумового генератора глубины DepthCrafter (спасибо подписчикам)
Можно проверить такой ли он чумовой
Готовьте гигабайты. 9Гб для 512*256

Код

#video2depth

DepthCrafter ComfyUI

Ноды генератора глубины DepthCrafter

Можете создавать видео с картой глубины на основе любого входного видео

Для рендеринга длинных видео в высоком разрешении (768p и выше) требуется довольно большой объем видеопамяти (>16 ГБ). При меньшем разрешении и более коротких видео будет использоваться меньше видеопамяти. Вы также можете сократить значение context_window для экономии видеопамяти.

Эта модель глубины хорошо сочетается с пакетом Depthflow для создания последовательной анимации глубины

#comfyUI #video2depth

А вот и демоспейс, где можно потестить генератор глубины для видео Depth Any Video

Демо HF
Демо replicate

#video2depth

RollingDepth: Video Depth without Video Models

Новый лидер в генерации карт глубины для видео. Стабильно держит точность на переднем и заднем плане, не фликерит. На заявленных примерах превосходит Depthcrafter и Chronodepth

Все это, конечно, по заявлениям авторов. Го тестить!

Код
Демо

#video2depth

Появился демоспейс Align3R, можно тестить

Демо

#video2depth #video2pointcloud #video2camera #tracking

MoGe: Unlocking Accurate Monocular Geometry Estimation for Open-Domain Images with Optimal Training Supervision

Подгон от Microsoft. Преобразует изображение в меш через карту глубины.

На сравнении выглядит лучше конкурентов, в том числе Depth Anything 2

Код
Демо

#image2depth #video2depth #image2mesh #video2mesh

Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation

Генератор глубины разрешением до 4К для видео. Но не для любого, нужны данные с лидара. У потребительских лидаров, таких как в айфоне, например, очень кислое разрешение, что-то вроде 256x192. Эти данные плюс RGB видео используются как промпт для генерации высококачественной карты глубины

Код
Демо
Код неофициальный
Пример результата на rerun.io покрутить

#rgbd #video2depth

Depth Anything At Any Condition (DepthAnything-AC)

Генератор глубины изображения. Работает в различных условиях, включая изменения освещения, снег-дождь. Успешно справляется когда есть искажения, вызванные сенсорами.

Представляет собой зафантюненный DepthAnything-V2

Код
Демо
Веса

#video2depth #depth #image2depth

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка потока сцены (не знаю о чем речь)

- сегментация движущихся объектов

Код ждем

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth