Edify Image: High-Quality Image Generation with Pixel Space Laplacian Diffusion Models

Генерация фотореалистичных изображений с пиксельной точностью от Nvidia. Отсутствует CLIP, пиксельное пространство вместо латентного.

Фичи:
- картинки по тексту
- ControlNet-апсемплинг до 4K (генератор выдает 1K)
- поддерживает Controlnet, сети управления
- HDR панорамы 360°
- дообучение, в том числе на несколько объектов

Впечатляет, но

Кода нет

#text2image #panorama #HDR #conditioning #upscale

FLUX.1 Tools

BlackForest Labs выпустили пачку контролнетов для FLUX.1 под названием FLUX.1 Tools

Вернее, это полноценные модели по 24Гб со встроенным функционалом контролнета. Depth и Canny есть также в виде лоры

FLUX.1 Fill: современные модели #inpainting и #outpainting, позволяющие редактировать и расширять реальные и сгенерированные изображения с текстовым описанием и бинарной маской.

FLUX.1 Depth: Модели, обученные для обеспечения структурного руководства на основе карты глубины, извлеченной из входного изображения и текстовой подсказки.

FLUX.1 Canny: модели, обученные для обеспечения структурного руководства на основе тонких контуров, извлеченных из входного изображения и текстовой подсказки.

FLUX.1 Redux: адаптер, позволяющий смешивать и воссоздавать входные изображения и текстовые подсказки.

Доступно по API для [pro] и в опенсорсе для [dev]
А также на сайтах партнеров

fal.ai
Replicate
Together.ai
Freepik
krea.ai

Гитхаб
Веса на HF

ComfyUI

#controlnet #conditioning #image2image #text2image #news #flux

In-Context LoRA (IC-LoRA)

Lora - дообучение генераторов картинок для создания наборов изображений в общем контексте. Иначе говоря, консистентность объектов и их взаимоотношений.

Примеров применения море

Уже на tost.ai

Дружит с ComfyUI
Воркфлоу для раскадровок

Код
Flux Simple Try On на Civitai

#personalization #conditioning #text2image

OminiControl

Что-то вроде универсального контролнета-айпиадаптера, как я понял. Легковесная система управления для диффузионных трансформеров типа FLUX.

Поддерживает предметно-ориентированное управление и пространственное управление (например Canny, inpainting).

Пусть эта 50-мегабайтная штука заменит 100Гб флюкс тулзов, ну пожалуйста

Код
Демо

#text2image #conditioning

ControlNets for Stable Diffusion 3.5 Large

Какое совпадение - 2
Вслед за Blackforest Labs, Stability AI выпускают пачку контролнетов к SD 3.5 Large

Blur - апскейлер до 8К и 16К
Canny
Depth

Веса на HF
Гитхаб
Уже в ComfyUI

#conditioning #controlnet #sd35 #text2image #upscale #depth2image

OneDiffusion

Единая модель для разных задач, связанных с генерацией и пониманием изображений

- генерация по тексту
- персонализация
- многоракурсная генерация - сразу несколько ракурсов объекта, заданного текстом или референсным изображением
- генерация по техническим картам (по принципу контролнет) и наоборот - генерация карт по картинке

Обучена на 512px и 1024px

Код ждем через 1-2 недели

#text2image #image2image #conditioning #personalization #multiview

EasyControl: Adding Efficient and Flexible Control for Diffusion Transformer

Убийца контролнета.
Стабильно работает в разных разрешениях.
Прикручено к Flux.
Интегрировано в CFG-Zero

Код
Демо
Демо гиблификация
ComfyUI

#conditioning #controlnet #flux #comfyui #image2image #referencing #personalization

ZenCtrl

Еще одна альтернатива #controlnet от Fotographer AI
Умеет генерить разные ракурсы сцены/объекта, фон под объект. Из привычного - Canny, Depth

Разрешение до 1024×1024, в будущем 2К и 4К

Есть пара моделек под #flux и одна под Ominicontrol (деблюр)

Код ждем
Демо
Веса
API
Статья

#conditioning #deblur #image2image #personalization #multiview #novelview

FLUX.1-dev-ControlNet-Union-Pro-2.0

Поддерживает разные режимы включая canny, soft edge, depth, pose, gray

Обучен на 512x512

Демо

#controlnet #conditioning @text2image #image2image

DICEPTION: A Generalist Diffusion Model for Vision Perception

Единая модель создает технические карты на уровне SOTA. Умеет делать глубину, нормали, позу? разные виды сегментации.

Сохраняет мелкие детали сегментации, такие как волосы.

Код ждем
Демо

Спасибо @m_franz

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation