Нейронавт | Нейросети в творчестве

2:17

DSINE: Rethinking Inductive Biases for Surface Normal Estimation

Генератор нормалей. Требует на два порядка меньше данных для обучения чем Omnidata v2 и независим от разрешения и соотношения сторон. Приятно что работает на уличных сценах/сценах реального мира, значит может пригодиться в композе.

Код

#image2normal #video2normal

🔥9

1.58K views08:37

Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention

Генератор новых ракурсов объекта в высоком качестве (512х512) по одному изображению. Да еще и с нормалями.
И прицепом можно получить тексутированный меш.

Генерация по тексту тоже возможна.

В демоспейсе только ракурсы в растре и с нормалями.

Код
Демо

#novelview #image2image #image2normal #imageto3D

🔥14❤1

1.61K views09:47

2:00

Sapiens: Foundation for Human Vision Models

Семейство моделей от Meta Reality Labs для выполнения четырех задач на изображениях человеков:

- оценка 2D-позы
- сегментация частей тела
- карта глубины
- карта нормалей

Код
Демо

#image2pose #segmentation #image2mask #image2depth #image2normal

❤10🔥5

2.57K viewsedited 09:05

Sapiens: Foundation for Human Vision Models Семейство моделей от Meta Reality Labs для выполнения четырех задач на изображениях человеков: - оценка 2D-позы - сегментация частей тела - карта глубины - карта нормалей Код Демо #image2pose #segmentation #image2mask…

0:01

Для Sapiens появился демоспейс

Для видео удалось запустить только самую младшую модель 0.3b, остальные выдавали ошибку, а потом токены кончились

Демо

#image2pose #segmentation #image2mask #image2depth #image2normal #video2normal

👍4🤔2❤1

1.61K views10:57

StableNormal: Reducing Diffusion Variance for Stable and Sharp Normal

Генератор нормалей по изображению. Должен быть крутой. У меня к сожалению галерея сравнений не прогружается чтобы посмотреть.

Код
Демо

#image2normal #video2normal

🔥10👍3🤯2

1.87K views07:43

diffusion-e2e-ft: Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think

Тут придумали как эффективно файнтюнить диффузные генераторы на кондиционные задачи типа предсказания глубины или нормалей в один шаг.
Показывают на примере Marigold, заявляют что дообученная версия работает в 200 раз быстрее.

Я перечитал описание несколько раз и так и не уверен что понял все правильно, если что поправьте меня

Код
Демо глубина
Демо нормали

#image2normal #image2depth

🔥7❤4

1.57K viewsedited 08:04

Lotus: Diffusion-based Visual Foundation Model for High-quality Dense Prediction

Генератор глубины и нормалей. Где вы еще видели такую детализацию?

Код ждем на днях
Демо ждем на днях

#image2depth #image2normal

👍8🔥7

1.72K views06:59

Опубликован код и демо генератора глубины и нормалей Lotus
+можно запускать на replicate по API

Код
Демо глубина
Демо нормали
API

#image2depth #image2normal

🔥12❤1

1.61K views05:03

0:19

LBM: Latent Bridge Matching for Fast Image-to-Image Translation

Универсальный метод преобразования изображений

Примеры применения: удаление объекта, генерация карт нормалей и глубины, релайтинг, реставрация/улучшение

Код
Демо (релайтинг)

#image2image #imageediting #inpainting #objectremoval #relighting #image2depth #image2normal #enhance #imagerestoration

❤5👍1🔥1

1.89K views11:18

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

Генератор 3D моделей по изображению через оценку нормалей

Файнтюн Trellis

Код ждем
Демо

#imageto3d #image2normal

👍8🔥5

2.05K views13:08

DICEPTION: A Generalist Diffusion Model for Vision Perception

Единая модель создает технические карты на уровне SOTA. Умеет делать глубину, нормали, позу? разные виды сегментации.

Сохраняет мелкие детали сегментации, такие как волосы.

Код ждем
Демо

Спасибо @m_franz

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation

👍10

1.89K views08:00

0:32

TesserAct: Learning 4D Embodied World Models

Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.

За глубину отвечает Marigold, обещают прикрутить NormalCrafter

Код
Веса

#imageto4d #4d #image2video #image2scene #image2normal #image2depth

🔥6❤2

1.74K viewsedited 13:41

ComfyUI wrapper nodes for Latent Bridge Matching (LBM)

Подвезли #ComfyUI преобразователя изображений LBM

воркфлоу
туториал

Спасибо @kostyanchik_94

#workflow #image2image #imageediting #inpainting #objectremoval #relighting #image2depth #image2normal #enhance #tutorial #imagerestoration

👍12🔥1👀1

2.14K views13:37

0:16

Marigold: Generative Computer Vision

Опа, Marigold прокачался
Там теперь не только глубина а целая пачка пассов: нормали, альбедо, какой-то intrinsic. RollingDepth на нем сделан.

Есть в Diffusers, гайд

Код
Демо глубина
Демо нормали
Демо интринсик

#image2depth #image2normal #image2albedo

🔥11❤2👍1

1.86K views14:47

0:07

0:22

Pixel3DMM: Versatile Screen-Space Priors for Single-Image 3D Face Reconstruction

Создание 3D-модели лица по одной фотографии. Модель анализирует изображение и предсказывает геометрические характеристики для каждой точки изображения, что позволяет точно реконструировать форму лица в трёх измерениях.

Но выходе можно получить:

- нормали

- uv-координаты

- 2D-вершины (точки на плоскости, которые помогают в реконструкции геометрии лица)

- параметры 3D морфабельной модели лица (3DMM), которые описывают форму и особенности лица в трёх измерениях

Код

#imageto3d #head #image2normal #image2uv #uv

👍5🔥1

1.65K views09:14

2:02

Light of Normals: Unified Feature Representation for Universal Photometric Stereo (LINO-UniPS)

Высококачественное восстановление нормалей поверхности объектов при произвольных условиях освещения, не полагаясь на конкретные модели освещения

Разрешение 4K, уровень точности 3D сканера

Код
Демо

#normal #relighting #image2normal

👍6❤1🔥1

1.68K viewsedited 12:26

0:27

Генератор 3D моделей Hi3DGen принят в программу ICCV2025

А код опубликован если кто не знал

#imageto3d #image2normal

👍6

1.71K views10:11

0:47