Neural Video Depth Stabilizer (NVDS)

Фреймворк для генерации согласованной во времени карты глубины для видео. Если вы когда-нибудь пробовали генерировать карты глубины для видео, вы знаете что модели, обученные предсказывать глубину для отдельно взятой картинки, просто неспособны выдать консистентную генерацию глубины для видео. От кадра к кадру у вас будет фликер и свистопляска. Вот эту проблему решает NVDS.

Вот бы нам еще видео-контролнетов для нормалей, кэнни, референс, позы и т д. Мечтаю уже.

В проекте замешан Adobe research, но моделью обещают поделиться для исследовательских целей.

[UPDATE]
Гитхаб

#depth #depth2video #video2depth

Опубликован код и веса генератора глубины по видео Neural Video Depth Stabilizer
Если удастся запустить, поделитесь результатами

Код

#depth #depth2video

ChronoDepth: Learning Temporally Consistent Video Depth from Video Diffusion Priors

Генератор консистентной карты глубины для видео.
Как я посмотрю, консистентность у них скачкообразная, но вроде есть какие-то рульки которые можно крутить. И таких проектов мало, так что ждем код и не ноем

Код ждем

#depth #depth2video #video2depth

Depth Anything At Any Condition (DepthAnything-AC)

Генератор глубины изображения. Работает в различных условиях, включая изменения освещения, снег-дождь. Успешно справляется когда есть искажения, вызванные сенсорами.

Представляет собой зафантюненный DepthAnything-V2

Код
Демо
Веса

#video2depth #depth #image2depth