🔥 Lumina-mGPT 2.0 (от Alpha-VLLM): семейство мультимодальных авторегрессионных моделей, разработанных для визуальных и текстовых задач.

Это передовая модель для генерации изображений, построенная по принципу авторегрессионных моделей только с декодером (decoder-only), архитектурно схожая с тем, как работают большие языковые модели вроде GPT (и конкретно сравниваемая с подходом к изображениям в GPT-4o).

Это означает, что она генерирует изображение последовательно (как текст), потенциально используя мощные возможности представления и понимания мира, присущие современным LLM.

Функции:
-Text-to-Image (t2i): Генерация изображений по текстовому описанию.

- Редактирование изображений: Модификация существующих изображений на основе инструкций.

- Контролируемая генерация: Управление генерацией с помощью дополнительных входных данных (аналогично ControlNet).

Разработчики заявляют, что модель включает все функции ControlNet. своей архитектуре.

Модель спроектирована как самостоятельное решение, а не как дополнение к другим системам и по сути это альтернатива доминирующим диффузионным моделям.

Авторегрессионные модели хороши в сохранении контекста и последовательности. Это может (теоретически) лучше подходить для генерации изображений, требующих сложной внутренней логики или повествования.

🟡Github
🟡Checkpoints

@ai_machinelearning_big_data


#Lumina #texttoimage #autoregressive