Spline Hana

3D генератор/редактор Spline выкатил новый холст для интерактивного дизайна. Анимация, триггеры на события, совместная работа

Под капотом движок, мгновенно рендерящий векторные элементы

Там есть комьюнити и галерея где можно поковыряться в чужих проектах

Сервис платный но видимо есть какой-то бесплатный функционал

Попробовать
Туториалы

#gaussian #3d #realtime #interactive #design

3DGUT: Enabling Distorted Cameras and Secondary Rays in Gaussian Splatting

Рендер сцен на гауссианах от Nvidia

В отличие от оригинального 3DGS, поддерживает фишай (очень широугольные обеъективы), корректно реконструирует сцены по видео, снятому с роллинг шаттером, позволяет воспроизводить оптические преломления и отражения

Код

#gaussian #video2scene #rendering #novelview #fisheye

WildGS-SLAM: Monocular Gaussian Splatting SLAM in Dynamic Environments

Реконструкция 3D сцен на гауссианах с удалением движущихся объектов.
На вход нужно монокулярное видео

Код

#gaussian

LAM: Large Avatar Model for One-shot Animatable Gaussian Head

Анимируемые аватары по одному изображению на гауссианах от Alibaba.

Управляются звуком и видео, поддаются редактированию-стилизации, шустро крутятся на разных девайсах

Код
Демо
Чат с аватарами - ну здесь они долго думают прежде чем ответить

#humanavatar #talkinghead #gaussian #head #mobile #realtime #lipsync #motion2video

spAItial

Cоздание 3D-контента с помощью пространственных базовых моделей, понимающих геометрию и физику

Судя по видео, создает сцены по текстовому описанию. А судя по анкете, планируют создавать и по фото и по видео

Записаться в вейтлист

#textto3d #text2scene #gaussian

Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

Исправляет артефакты NeRF и 3DGS в областях с недостатком констрейнов (??), повышая общее качество 3D-представления. Проект NVIDIA

Код ждем

#gaussian #nerf

TeGA: Texture Space Gaussian Avatars for High-Resolution DynamicHead Modeling

Аватары на гауссианах от Google
Впечатляющее качество, уделали всех конкурентов, но

Кода нет

#gaussian #humanavatar

4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation

SOTA в генерации и реконструкция видео в 4D от Snap и KAUST, в списке авторов русские фамилии.

Может как воссоздать сцену по мультиракурсному видео, так и сгенерировать по тексту

Показывает изменения сцены во времени и пространстве, как если бы это было живое 4D изображение.

Под капотом гауссианы и еще что-то

Кода нет, ждем в снэпчате?

#4D #textto4d #videoto4D #gaussian #novelview #rendering #research

4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time

И тут же подобная работа от Adobe С КОДОМ‼️

Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.

Объединяет пространство и время, представляя объект как облако 4D гауссиан

Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100

Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)

Код должен быть, проверить не могу

#4D #videoto4D #gaussian #novelview #rendering #imageto4d

GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering

Стабилизация трясущихся видео за счет 3D-реконструкции на гауссианах

Код

#stabilize #gaussian

LangScene-X

Создает из набора изображений (от двух, но лучше больше) согласованное видео с учетом 3D, а также трёхмерную сцену, карту сегментации и нормали поверхности

В основе - CogVideoX, а также SAM2 и гауссианы

Код

#image2scene #imageto3d #image2normal #image2mask #image2video #gaussian

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

Работа с участием NVIDIA.
Реконструкция #4D слоумошен сцены из видео с нескольких ракурсов, снятого обычными камерами в 25 fps. Эффективная частота кадров получается 100-200 fps
Под капотом 4D модель на гауссианах

Код ждем

#videoto4d #gaussian #4d

LangSplatV2: High-dimensional 3D Language Gaussian Splatting with 450+ FPS

Модель умеет быстро обрабатывать и понимать изображения в трёхмерном пространстве, используя язык. Находит объекты на картинках и определяет их местоположение с высокой точностью.

Был похожий проект

Код

#video2mask #segmentation #gaussian

Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

Реконструкция 4D сцен, снятых с ограниченного количества ракурсов. Недостающие данные дорисует, выдаст видео с нужного ракурса

Код ждем
Интерактивный вьюер

#4D #videoto4D #gaussian #novelview #rendering

В Houdini 21 сделали начальную поддержку гауссовых сплатов

https://www.youtube.com/watch?v=aq7JQCV51CY

#houdini #3d #gaussian