Neural Video Depth Stabilizer (NVDS)

Фреймворк для генерации согласованной во времени карты глубины для видео. Если вы когда-нибудь пробовали генерировать карты глубины для видео, вы знаете что модели, обученные предсказывать глубину для отдельно взятой картинки, просто неспособны выдать консистентную генерацию глубины для видео. От кадра к кадру у вас будет фликер и свистопляска. Вот эту проблему решает NVDS.

Вот бы нам еще видео-контролнетов для нормалей, кэнни, референс, позы и т д. Мечтаю уже.

В проекте замешан Adobe research, но моделью обещают поделиться для исследовательских целей.

[UPDATE]
Гитхаб

#depth #depth2video #video2depth

Опубликован код и веса генератора глубины по видео Neural Video Depth Stabilizer
Если удастся запустить, поделитесь результатами

Код

#depth #depth2video

ChronoDepth: Learning Temporally Consistent Video Depth from Video Diffusion Priors

Генератор консистентной карты глубины для видео.
Как я посмотрю, консистентность у них скачкообразная, но вроде есть какие-то рульки которые можно крутить. И таких проектов мало, так что ждем код и не ноем

Код ждем

#depth #depth2video #video2depth

Cosmos-Transfer1: World Generation with Adaptive Multimodal Control

Nvidia выпустили версию своего генератора миров (видео) для кондиционной генерации на основе множества входных данных в различных модальностях, таких как сегментация, карты глубины и контуры (edge)

Гитхаб

#text2video #image2video #simulation #text2world #image2world #segmentation2video #depth2video #mask2video #edge2video