Нейронавт | Нейросети в творчестве
9.49K subscribers
3.66K photos
3.16K videos
40 files
4.12K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках не участвую

для связи @Neuronauticus
加入频道
Media is too big
VIEW IN TELEGRAM
MoGe: Unlocking Accurate Monocular Geometry Estimation for Open-Domain Images with Optimal Training Supervision

Подгон от Microsoft. Преобразует изображение в меш через карту глубины.

На сравнении выглядит лучше конкурентов, в том числе Depth Anything 2

Код
Демо

#image2depth #video2depth #image2mesh #video2mesh
🔥131
MVGD: Zero-Shot Novel View and Depth Synthesis with Multi-View Geometric Diffusion

Диффузный генератор новых консистентных ракурсов с картой глубины заданной сцены. На вход - любое количество ракурсов сцены.

Код ждем

#image2depth #novelview
👍4🔥1
Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator

И у нас новый лидер (SOTA, если не врут) в оценке глубины изображения

Код
Демо

#image2depth
👍14🔥3
LBM: Latent Bridge Matching for Fast Image-to-Image Translation

Универсальный метод преобразования изображений

Примеры применения: удаление объекта, генерация карт нормалей и глубины, релайтинг, реставрация/улучшение

Код
Демо (релайтинг)

#image2image #imageediting #inpainting #objectremoval #relighting #image2depth #image2normal #enhance #imagerestoration
5👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Immersity 4.0

Leia Inc выпустили обновку.
Immersity это онлайн сервис, где можно немного подвигать картинку натянув карту глубины, бывший Leiapix. Так вот, теперь оно работает лучше. Но на бесплатном тарифе вам не отдадут карту глубины. А что отдадут будет с вотермаркой

Еще умеет делать из обычного видео 3D видео для XR девайсов, опять же через карту глубины. На бесплатном тарифе:

3D Motion
3D Image
3D Video Simple

#image2depth #image2video #monoculardepth #parallax
👍4
DICEPTION: A Generalist Diffusion Model for Vision Perception

Единая модель создает технические карты на уровне SOTA. Умеет делать глубину, нормали, позу? разные виды сегментации.

Сохраняет мелкие детали сегментации, такие как волосы.

Код ждем
Демо

Спасибо @m_franz

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation
👍10
Media is too big
VIEW IN TELEGRAM
TesserAct: Learning 4D Embodied World Models

Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.

За глубину отвечает Marigold, обещают прикрутить NormalCrafter

Код
Веса

#imageto4d #4d #image2video #image2scene #image2normal #image2depth
🔥62
Matrix3D: Large Photogrammetry Model All-in-One

Единая модель фотограмметрии от Apple, выполняющая оценку ракурса, глубины и синтез нового ракурса

Сгенерированные новые ракурсы предлагают использовать для реконструкции сцены гауссианами

Код

#photogrammetry #novelview #image2depth
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Marigold: Generative Computer Vision

Опа, Marigold прокачался
Там теперь не только глубина а целая пачка пассов: нормали, альбедо, какой-то intrinsic. RollingDepth на нем сделан.

Есть в Diffusers, гайд

Код
Демо глубина
Демо нормали
Демо интринсик

#image2depth #image2normal #image2albedo
🔥112👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Depth Anything At Any Condition (DepthAnything-AC)

Генератор глубины изображения. Работает в различных условиях, включая изменения освещения, снег-дождь. Успешно справляется когда есть искажения, вызванные сенсорами.

Представляет собой зафантюненный DepthAnything-V2

Код
Демо
Веса

#video2depth #depth #image2depth
9👍5
DINOv3: Self-supervised learning for vision at unprecedented scale

Новая версия модели от запрещенной в РФ Meta AI

Модель универсальная, подходит почти для любых задач компьютерного зрения: детекция, сегментация, предсказание глубины, плотности

Использует метод самообучения (SSL) без необходимости в данных с метками, что позволяет ей обучаться на огромных объёмах изображений без человеческого участия.

Благодаря этому превосходит даже специализированные модели

Есть несколько вариантов весов под разные вычислительные мощности

Гитхаб
HF

#image2depth #segmentation #video2mask #video2depth
🔥8👍21
4DNeX: Feed-Forward 4D Generative Modeling Made Easy

Генератор 4D-сцен (динамические 3D-сцены) из одного изображения или видео. Позволяет смотреть на изображение или видео с новых ракурсов/

Под капотом затюненный диффузный видеогенератор

Работает с единым 6D-представлением видео - для каждой RGB точки известны ее XYZ координаты

Код ждем

#4d #imageto4d #videoto4d #image2depth #video2depth
👍62👎2