Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency

Создает 4D-сцены на гауссианах из одного изображения, управляемый рендер в реальном времени.

Код

#image2gaussian #image2video #imageto4d #gaussian #nivelview #realtime #4d

TesserAct: Learning 4D Embodied World Models

Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.

За глубину отвечает Marigold, обещают прикрутить NormalCrafter

Код
Веса

#imageto4d #4d #image2video #image2scene #image2normal #image2depth

HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation

Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты

Код

#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

И тут же подобная работа от Adobe С КОДОМ‼️

Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.

Объединяет пространство и время, представляя объект как облако 4D гауссиан

Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100

Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)

Код должен быть, проверить не могу

#4D #videoto4D #gaussian #novelview #rendering #imageto4d