В установщике нейросетей Pinokio уже доступны:

Кастомизатор картинок UNO
Голосовая модель DIA
Видеогенератор для бедных FramePack

И многие другие инструменты

За напоминание спасибо @Dmitriy_Ru6ts0v

#image2video #tts #personalization #referencing

Phantom

Видео по референсу, дождались, ответ Bytedance (WAN) на Gen-4 References
Теперь эта функция в опенсорсе!

Веса fp16/fp32
Гитхаб
workflow

#personalization #referencing #image2video #text2video #workflow

Ideogram 3.0

Обновился сервис генерации картинок Ideogram

Больше реализма, точнее понимает промпты, предлагает вдвое больше стилей.

Можно загрузить до трех референсов.

Magic Fill - инпейнтинг

Extend - аутпейнтинг

Сделали интеграцию по API через Picsart, Freepik, Replicate

#text2image #referencing #imageediting #inpainting #outpainting

Опубликован код инструмента для работы с изображениями ZenCtrl

Разрешение до 1024×1024, уже работают над 1500х1500 и больше, работают над агентским и видеопайплайном

Лучше всего работает с объектами. С людьми - ограниченно. Плохо умеет в иллюстации. Ибо обучен на бедном датасете. В будущем улучшат.

Код

#conditioning #deblur #image2image #personalization #multiview #novelview #referencing

WAN2.1 VACE14B GGUF

Квантизованная версия Wan2.1-VACE

воркфлоу

#text2video #video2video #personalization #videoediting #referencing #gguf

OmniGen2: Exploration to Advanced Multimodal Generation

Новая версия редактора-генератора-персонализатора изображений

Создает картинки по описанию, редактирует их по инструкциям, переносит объекты из одной картинки в другую.

Есть режим с рефлексией: модель понимает, что изображено на картинке, и может улучшать свои результаты, анализируя их

Код

Демоспейсы, большинство из них скоро умрет:
https://huggingface.co/spaces/OmniGen2/OmniGen2
https://8f10329141d53b6884.gradio.live/
https://110863cb06c6c44bd2.gradio.live/
https://981758b17b4197aea7.gradio.live/
https://981758b17b4197aea7.gradio.live/

С чатом:
https://9315447fc78ef638e3.gradio.live/
https://abe054be89543e4cef.gradio.live/
https://4aa913765db00bbe51.gradio.live/
https://f28a8718565627d2cb.gradio.live/

#personalization #imageediting #text2image #image2image #referencing

ComfyUI-OmniGen2

Большое упущение с моей стороны что не опубликовал до сих пор. Бежим играть с омнигеном2

#personalization #imageediting #text2image #image2image #referencing #comfyui

Ideogram Character

Персонализатор от Ideogram.
Обещают высокое сходство.
Бесплатно 10 генераций

#personalization #referencing #image2image #text2image

Flux Omini Kontext

Фреймворк и лора для под #kontext для интеграциии персонажа в картинку с контролем положения и масштаба

Вдохновлено и на основе OminiControl

Гитхаб

#referencing #inpainting #imageediting

В Krea.ai подключили Ideogram Character Reference

#referencing #personalization

Автор Flux Omini Kontext выпустил две лоры - для персонажа и для объекта.
На гитхабе у него большой To-do список, будем следить

Гитхаб - ссылки на лоры там

#referencing #inpainting #imageediting #kontext

Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation

Персонализация на видео от Tencent

генерация видео по текстовому описанию с сохранением идентичности персонажей (Identity-Preserving Text-to-Video Generation); 1

- создание видео с нечеловеческими субъектами

- генерация стилизованных видео

- замена лиц на видео

- генерация видео на основе заданной позы

Прикручено к WAN2.1. Ждем WAN2.2

Kijai уже интегрировал его в WanVideoWrapper, но имплементация отличается от оригинала, что может сказаться на результате. Авторы выпустили ноду препроцессора.

Код
HF
Stand-In Official Preprocessor ComfyUI Nodes

Kijai HF
воркфлоу

#workflow @comfyUI #personalization #referencing #faceswap #stylize