4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

Вы должны это срочно увидеть!
У HyperReel появился конкурент и какой.
Гауссианы + временная составляющая = рендеринг динамической сцены с заданного ракурса. Мне пока непонятно сколько входных ракурсов надо чтобы это работало. Известно что тестировали на синетитических данных и датасетах реальных видео, снятых одновременно на от 1 до 15 камер. Видимо, как-то должно работать и на входном видео с одной камеры.

Короче, они описали гауссианами не только форму, но и движение и деформацию. При этом рендеринг в реальном времени, 70 кадров в секунду при разрешении 800 * 800 на RTX 3090, качество не ниже чем у конкурентов.

Код
Колаб

#novelveiw #rendering #stabilization #video2video #video2scene

3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos

На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering в создании Free-Viewpoint Videos (FVV)

Обучается (для одного кадра?...) за 12 секунд. Рендерит 200 кадров в секунду

Код ожидается в июне 2024, но это неточно

#novelveiw #rendering #stabilization #video2video #video2scene #FVV

ReCamMaster: Camera-Controlled Generative Rendering from A Single Video

Изменяем траекторию камеры для видео, получаем то же видео с другого ракурса.

Применимо для 4D реконструкций, стабилизации видео, обучения роботов и автопилотов

Код ждем (но это неточно)
Демо - сюда загружаем свое видео, ждем пока его обработают и пришлют вам на почту.

Варианты движения камеры такие:

1 Pan Right
2 Pan Left
3 Tilt Up
4 Tilt Down
5 Zoom In
6 Zoom Out
7 Translate Up (with rotation)
8 Translate Down (with rotation)
9 Arc Left (with rotation)
10 Arc Right (with rotation)

#cameracontrol #novelview #video2video #stabilization