This media is not supported in your browser
VIEW IN TELEGRAM
Krea Stage
У Krea AI опять обновка.
Добавили функцию генерации 3D сцен
#image2scene #imageto3d #text2scene #textto3d
У Krea AI опять обновка.
Добавили функцию генерации 3D сцен
#image2scene #imageto3d #text2scene #textto3d
👍11❤2
This media is not supported in your browser
VIEW IN TELEGRAM
LaRI: Layered Ray Intersections for Single-view 3D Geometric Reasoning
Реконструкция геометрии сцены по изображению.
Хорошо моделирует невидимую на картинке часть геометрии за счет создания послойной карты точек.
На выходе меш и послойная карта глубины
Код
Демо
#imageto3d #image2scene
Реконструкция геометрии сцены по изображению.
Хорошо моделирует невидимую на картинке часть геометрии за счет создания послойной карты точек.
На выходе меш и послойная карта глубины
Код
Демо
#imageto3d #image2scene
🔥6
Media is too big
VIEW IN TELEGRAM
TesserAct: Learning 4D Embodied World Models
Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.
За глубину отвечает Marigold, обещают прикрутить NormalCrafter
Код
Веса
#imageto4d #4d #image2video #image2scene #image2normal #image2depth
Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.
За глубину отвечает Marigold, обещают прикрутить NormalCrafter
Код
Веса
#imageto4d #4d #image2video #image2scene #image2normal #image2depth
🔥6❤2
Media is too big
VIEW IN TELEGRAM
HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation
Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты
Код
#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d
Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты
Код
#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d
👍6😱3
Media is too big
VIEW IN TELEGRAM
CAST: Component-Aligned 3D Scene Reconstruction from an RGB Image
Cоздает 3D модели по одной картинке с учётом физических взаимодействий и пространственных отношений объектов
В деле замешаны Deemos
Код ждем
#imageto3d #image2scene
Cоздает 3D модели по одной картинке с учётом физических взаимодействий и пространственных отношений объектов
В деле замешаны Deemos
Код ждем
#imageto3d #image2scene
👍7🔥3👎1
This media is not supported in your browser
VIEW IN TELEGRAM
LangScene-X
Создает из набора изображений (от двух, но лучше больше) согласованное видео с учетом 3D, а также трёхмерную сцену, карту сегментации и нормали поверхности
В основе - CogVideoX, а также SAM2 и гауссианы
Код
#image2scene #imageto3d #image2normal #image2mask #image2video #gaussian
Создает из набора изображений (от двух, но лучше больше) согласованное видео с учетом 3D, а также трёхмерную сцену, карту сегментации и нормали поверхности
В основе - CogVideoX, а также SAM2 и гауссианы
Код
#image2scene #imageto3d #image2normal #image2mask #image2video #gaussian
❤7🔥2😐2
CLiFT: Compressive Light-Field Tokens for Compute-Efficient and Adaptive Neural Rendering
Метод представления (и рендеринга) 3D сцен в виде сжатых токенов светового поля (CLiFT). Метод хорошо сохраняет геометрическую информацию.
На сайте есть сравнение с методами LVSM от Adobe и DepthSplat от Microsoft
Код ждем к 1 августа
#image2scene #rendering #novelview
Метод представления (и рендеринга) 3D сцен в виде сжатых токенов светового поля (CLiFT). Метод хорошо сохраняет геометрическую информацию.
На сайте есть сравнение с методами LVSM от Adobe и DepthSplat от Microsoft
Код ждем к 1 августа
#image2scene #rendering #novelview
🔥4👍1
HunyuanWorld-1.0
Создает сцены и 360-градусные панорамы по тексту и по картинке.
В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.
В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.
Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами
Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается
Спасибо @iNevestenko
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
"Первый опенсорсный генератор 3D миров, полностью совместимый с графическими пайплайнами"
Создает сцены и 360-градусные панорамы по тексту и по картинке.
В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.
В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.
Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами
Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается
Спасибо @iNevestenko
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
👍10⚡2❤1😱1
3D сцены HunyuanWorld 1.0 полностью редактируемые
(ну они так и написали - совместимые с 3D пайплайнами)
Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)
Jupiter / Colab
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
(ну они так и написали - совместимые с 3D пайплайнами)
Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)
Jupiter / Colab
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
👍7🔥2
Media is too big
VIEW IN TELEGRAM
ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment
Генератор видео согласованных ракурсов сцены по одному исходному изображению
Выглядит как SD1.5, устаревше, а собака даже кринжово. Предположу что тут есть какие-то технические новшества, которые используют в других раболтах
Авторы использовали наработки WonderJourney, Break-A-Scene, Blended Diffusion, SAM
Код
#image2video #image2scene
Генератор видео согласованных ракурсов сцены по одному исходному изображению
Выглядит как SD1.5, устаревше, а собака даже кринжово. Предположу что тут есть какие-то технические новшества, которые используют в других раболтах
Авторы использовали наработки WonderJourney, Break-A-Scene, Blended Diffusion, SAM
Код
#image2video #image2scene
👍2🔥1👀1
This media is not supported in your browser
VIEW IN TELEGRAM
Опубликован код метода представления объемных сцен CLIFT
Код
спасибо @Dmitriy_Ru6ts0v
#image2scene #rendering #novelview
Код
спасибо @Dmitriy_Ru6ts0v
#image2scene #rendering #novelview
👍9🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer
Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.
На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры
На сайте можно интерактивно покрутить несколько примеров
Код
#image2scene #video2scene #3d
Новый подход к плотностной 3D-реконструкции, решает задачу предсказания карт точек с помощью Transformer-модели без энкодера.
На выходе карта точек, карта уверенности в системах координат мира и камеры, положение камеры
На сайте можно интерактивно покрутить несколько примеров
Код
#image2scene #video2scene #3d
❤8🔥3👍2
Hunyuan World Model 1.0-Lite
Облегченная версия генератора 3D миров HunyuanWorld-1.0
Требования к VRAM снизили с 26 до 17 ГБ благодаря FP8-квантованию. Ну могли бы и до 16 уж дотянуть🤩
SageAttention уже прикручен.
Гитхаб
Hugging Face
Демо
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
Облегченная версия генератора 3D миров HunyuanWorld-1.0
Требования к VRAM снизили с 26 до 17 ГБ благодаря FP8-квантованию. Ну могли бы и до 16 уж дотянуть
SageAttention уже прикручен.
Гитхаб
Hugging Face
Демо
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤1😁1