VSF: Simple, Efficient, and Effective Negative Guidance in Few-Step Image Generation Models By Value Sign Flip

Улучшает обработку негативных промптов генераторами
Существующие методы (CFG) либо работают плохо, либо требуют серьезных изменений в модели (NegationCLIP).

VSF переворачивает вектор значений негативных вложений подсказок во время внимания.

- Поддерживает SD3.5, Flux, Wan
- Работает в томи числе с малошаговыми и одношаговыми моделями
- Не требует переобучения
- Отсутствует усиление незапрашиваемых концепций
- Маскирование внимания и дупликация токенов для изоляции влияния в заданных областях

На видео - Flux, позитивный промпт a canadian winter landscape in the style of a 19th century painting и негативный промпт snow с возрастающей силой от 1 до 8.9

Примеры работы с WAN 2.1 тут

Код
Демо Wan 2.1

#optimization #text2image #negativeprompt

FastWan

Kijai вытряхнул лору из FastVideo и вонзил в Wan, пишут что выдает прекрасные результаты в связке с LightX2V за 2 шага!

Реддит

#optimization #text2video #image2video

FLUX-Krea-Blaze

Ускоренная 4-шаговая версия FLUX.1-Krea.DEV

~8.30s на rtx 3090 (1280x560)

Рекомендованные настройки:

4 Steps Res2 - Bong Tangent
8 Steps UniPc - sgm_uniform

Там же в папке LoRas - лоры 32, 64 and 128 Rank

воркфлоу 8 Step-1920x1080

#optimization #lora #workflow #text2image

Wan2.2-Lightning
Как понимаю, низкошаговый форк #Wan22

lightx2v Wan2.2-Lightning Лоры
Kijai Wan2.2-Lightning Лоры

Воркфлоу искать у Kijai

Спасибо @muxastarikov

#text2video #optimization

FastWan: Generating a 5-Second Video in 5 Seconds via Sparse Distillation

Ускоритель FastVideo официально прикрутили к WAN2.1 (1.3B, 14B) и к #WAN22 (пока только 5B. Ждем 14B)

FastWan2.1-1.3B генерирует 5-секундное видео в формате 480P за 5 секунд (время денойза - 1 секунда) на одном H200 и 21 секунду (время денойза - 2,8 секунды) на одном RTX 4090.

FastWan2.2-5B создает 5-секундное видео в формате 720P за 16 секунд на одном H200

Демо

Веса 2.2
Веса 2.1

#text2iomage #optimization

Qwen-Image-EliGen

Контролнет для Qwen-Image

Работает в DiffSynth-Studio
————————

Qwen-Image-Distill-Full

Дистилляция Qwen-Image, хорошо работает на 15 шагах вместо 80, нет необходимости включать CFG, ускорение ~в 5 раз.

Работает в DiffSynth-Studio

#controlnet #text2image #optimization

Qwen-Image-Lightning-4steps-V1.0

А вот и четырехшаговая лора Qwen-Image

Гитхаб
Воркфлоу

#workflow #text2image #optimization #lora

Self-Forcing: Making AI Video Generation Endless

Эксперимент по достижению бесконечной видеогенерации без деградации.
Для эксперимента автор выбрал архитектуру Self-Forcing

Контекст Self-Forcing ограничен 81 кадром, что жестко прописано в кодовой базе, что автор и пытался преодолеть.

В процессе ему удалось реализовать интересную идею: редактирование видео в реальном времени, вернее на лету, в процессе генерации

И выложил все в опенсорс

Требования: 24Gb VRAM, 64Gb RAM, Linux

Гитхаб
Реддит

#optimization #video2video #videoediting #realtime #text2video