SingLoRA
Cледующий шаг на пути к дешевому Файн-тюнингу моделей
Суть в том, что он использует одну матрицу вместо двух для корректировки параметров модели. Это удешевляет ее вдвое, переобучаем только 0.05 % параметров
#lora #optimization #finetuning
Cледующий шаг на пути к дешевому Файн-тюнингу моделей
Суть в том, что он использует одну матрицу вместо двух для корректировки параметров модели. Это удешевляет ее вдвое, переобучаем только 0.05 % параметров
#lora #optimization #finetuning
GitHub
GitHub - kyegomez/SingLoRA: This repository provides a minimal, single-file implementation of SingLoRA (Single Matrix Low-Rank…
This repository provides a minimal, single-file implementation of SingLoRA (Single Matrix Low-Rank Adaptation) as described in the paper "SingLoRA: Low Rank Adaptation Using a Single Matri...
👍6🔥1
PromptTea: Let Prompts Tell TeaCache the Optimal Threshold
Новый метод ускорения видеогенерации
Модель анализирует промпты и на основе их сложности автоматически настраивает процесс генерации видео.
Для простых видео модель работает быстрее, а для сложных — более внимательно, сохраняя высокое качество
Ускорение генерации в 2,79 раз при минимальной потере качества.
Поддерживает CogVideoX1.5, HunyuanVideo и Wan2.1
Код
#optimization
Новый метод ускорения видеогенерации
Модель анализирует промпты и на основе их сложности автоматически настраивает процесс генерации видео.
Для простых видео модель работает быстрее, а для сложных — более внимательно, сохраняя высокое качество
Ускорение генерации в 2,79 раз при минимальной потере качества.
Поддерживает CogVideoX1.5, HunyuanVideo и Wan2.1
Код
#optimization
👍13
Ускоритель видеогенерации Radial Attention теперь совместим с SageAttention version 1
А также поддерживает Wan2.1_14B_FusionX LoRA
Это означает генерацию за 8 шагов (90 секунд на H100)
Гитхаб
#optimization #text2video
А также поддерживает Wan2.1_14B_FusionX LoRA
Это означает генерацию за 8 шагов (90 секунд на H100)
Гитхаб
#optimization #text2video
👍12😁1🤯1
SageAttention3 - ранний доступ
Для раннего доступа к ускорятору генерации заполните анкету на HF.
Доступ дают владельцам GPU Blackwell (серия 50xx)
#optimization #news
Для раннего доступа к ускорятору генерации заполните анкету на HF.
Доступ дают владельцам GPU Blackwell (серия 50xx)
#optimization #news
huggingface.co
jt-zhang/SageAttention3 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍5😱1
VSF: Simple, Efficient, and Effective Negative Guidance in Few-Step Image Generation Models By Value Sign Flip
Улучшает обработку негативных промптов генераторами
Существующие методы (CFG) либо работают плохо, либо требуют серьезных изменений в модели (NegationCLIP).
VSF переворачивает вектор значений негативных вложений подсказок во время внимания.
- Поддерживает SD3.5, Flux, Wan
- Работает в томи числе с малошаговыми и одношаговыми моделями
- Не требует переобучения
- Отсутствует усиление незапрашиваемых концепций
- Маскирование внимания и дупликация токенов для изоляции влияния в заданных областях
На видео - Flux, позитивный промпт
Примеры работы с WAN 2.1 тут
Код
Демо Wan 2.1
#optimization #text2image #negativeprompt
Улучшает обработку негативных промптов генераторами
Существующие методы (CFG) либо работают плохо, либо требуют серьезных изменений в модели (NegationCLIP).
VSF переворачивает вектор значений негативных вложений подсказок во время внимания.
- Поддерживает SD3.5, Flux, Wan
- Работает в томи числе с малошаговыми и одношаговыми моделями
- Не требует переобучения
- Отсутствует усиление незапрашиваемых концепций
- Маскирование внимания и дупликация токенов для изоляции влияния в заданных областях
На видео - Flux, позитивный промпт
a canadian winter landscape in the style of a 19th century painting и негативный промпт snow с возрастающей силой от 1 до 8.9Примеры работы с WAN 2.1 тут
Код
Демо Wan 2.1
#optimization #text2image #negativeprompt
👍7🔥3
Value Sign Flip for ComfyUI (Wan 2.1)
VSF нода для WAN 2.1 подъехала!
Бежим писать негативные промпты
#ComfyUI #optimization #text2video #negativeprompt
VSF нода для WAN 2.1 подъехала!
Бежим писать негативные промпты
#ComfyUI #optimization #text2video #negativeprompt
❤4👍4🤷♂2
FastWan
Kijai вытряхнул лору из FastVideo и вонзил в Wan, пишут что выдает прекрасные результаты в связке с LightX2V за 2 шага!
Реддит
#optimization #text2video #image2video
Kijai вытряхнул лору из FastVideo и вонзил в Wan, пишут что выдает прекрасные результаты в связке с LightX2V за 2 шага!
Реддит
#optimization #text2video #image2video
🔥3👍1
FastWan
Kijai вытряхнул лору из FastVideo и вонзил в Wan, пишут что выдает прекрасные результаты в связке с LightX2V за 2 шага!
Реддит
#optimization #text2video #image2video
Kijai вытряхнул лору из FastVideo и вонзил в Wan, пишут что выдает прекрасные результаты в связке с LightX2V за 2 шага!
Реддит
#optimization #text2video #image2video
👍7❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Ускоряющая четырехшаговая лора WAN2.1-lightx2v работает с WAN2.2!
воркфлоу
лора
#text2video #lora #image2video #optimization #workflow
воркфлоу
лора
#text2video #lora #image2video #optimization #workflow
❤6👍2🔥2🤔1
SADA: Stability-guided Adaptive Diffusion Acceleration
Ускорение диффузии в одну строку кода в HF diffusers.
Стабильное ускорение в 1.8-2 раза в SD2, SDXL, FLUX с минимальной потерей качества
Код
#text2image #optimization
Ускорение диффузии в одну строку кода в HF diffusers.
Стабильное ускорение в 1.8-2 раза в SD2, SDXL, FLUX с минимальной потерей качества
Код
#text2image #optimization
👍4❤1
Day 1 4-Bit FLUX.1-Krea-dev Support with Nunchaku
В nunchaku добавлена поддержка 4-битногоt FLUX.1-Krea-dev
Веса
Скрипт
Гитхаб
реддит
#text2image #optimization
В nunchaku добавлена поддержка 4-битногоt FLUX.1-Krea-dev
Веса
Скрипт
Гитхаб
реддит
#text2image #optimization
❤12👍4😱1
FLUX-Krea-Blaze
Ускоренная 4-шаговая версия FLUX.1-Krea.DEV
~8.30s на rtx 3090 (1280x560)
Рекомендованные настройки:
Там же в папке LoRas - лоры 32, 64 and 128 Rank
воркфлоу 8 Step-1920x1080
#optimization #lora #workflow #text2image
Ускоренная 4-шаговая версия FLUX.1-Krea.DEV
~8.30s на rtx 3090 (1280x560)
Рекомендованные настройки:
4 Steps Res2 - Bong Tangent
8 Steps UniPc - sgm_uniform
Там же в папке LoRas - лоры 32, 64 and 128 Rank
воркфлоу 8 Step-1920x1080
#optimization #lora #workflow #text2image
1👍14🔥3
Wan2.2-Lightning
Как понимаю, низкошаговый форк #Wan22
lightx2v Wan2.2-Lightning Лоры
Kijai Wan2.2-Lightning Лоры
Воркфлоу искать у Kijai
Спасибо @muxastarikov
#text2video #optimization
Как понимаю, низкошаговый форк #Wan22
lightx2v Wan2.2-Lightning Лоры
Kijai Wan2.2-Lightning Лоры
Воркфлоу искать у Kijai
Спасибо @muxastarikov
#text2video #optimization
👍12🔥1
FastWan: Generating a 5-Second Video in 5 Seconds via Sparse Distillation
Ускоритель FastVideo официально прикрутили к WAN2.1 (1.3B, 14B) и к #WAN22 (пока только 5B. Ждем 14B)
FastWan2.1-1.3B генерирует 5-секундное видео в формате 480P за 5 секунд (время денойза - 1 секунда) на одном H200 и 21 секунду (время денойза - 2,8 секунды) на одном RTX 4090.
FastWan2.2-5B создает 5-секундное видео в формате 720P за 16 секунд на одном H200
Демо
Веса 2.2
Веса 2.1
#text2iomage #optimization
Ускоритель FastVideo официально прикрутили к WAN2.1 (1.3B, 14B) и к #WAN22 (пока только 5B. Ждем 14B)
FastWan2.1-1.3B генерирует 5-секундное видео в формате 480P за 5 секунд (время денойза - 1 секунда) на одном H200 и 21 секунду (время денойза - 2,8 секунды) на одном RTX 4090.
FastWan2.2-5B создает 5-секундное видео в формате 720P за 16 секунд на одном H200
Демо
Веса 2.2
Веса 2.1
#text2iomage #optimization
👍7🔥3
lightx2v LoRA обновились
Добавлены
Wan2.2-T2V-A14B-4steps-lora-rank64-Seko-V1.1
И
Wan2.2-I2V-A14B-4steps-lora-rank64-Seko-V1
Kijai тоже обновил свой репо
#text2video #optimization #image2video #wan22 #lora
Добавлены
Wan2.2-T2V-A14B-4steps-lora-rank64-Seko-V1.1
И
Wan2.2-I2V-A14B-4steps-lora-rank64-Seko-V1
Kijai тоже обновил свой репо
#text2video #optimization #image2video #wan22 #lora
1❤4👍3🔥2
Qwen-Image-EliGen
Контролнет для Qwen-Image
Работает в DiffSynth-Studio
————————
Qwen-Image-Distill-Full
Дистилляция Qwen-Image, хорошо работает на 15 шагах вместо 80, нет необходимости включать CFG, ускорение ~в 5 раз.
Работает в DiffSynth-Studio
#controlnet #text2image #optimization
Контролнет для Qwen-Image
Работает в DiffSynth-Studio
————————
Qwen-Image-Distill-Full
Дистилляция Qwen-Image, хорошо работает на 15 шагах вместо 80, нет необходимости включать CFG, ускорение ~в 5 раз.
Работает в DiffSynth-Studio
#controlnet #text2image #optimization
1🔥8👍3👨💻1
Нейронавт | Нейросети в творчестве
Qwen-Image-EliGen Контролнет для Qwen-Image Работает в DiffSynth-Studio ———————— Qwen-Image-Distill-Full Дистилляция Qwen-Image, хорошо работает на 15 шагах вместо 80, нет необходимости включать CFG, ускорение ~в 5 раз. Работает в DiffSynth-Studio #controlnet…
+ Qwen-Image_ComfyUI
Дистиллированный qwen в репо Comfy-Org присутствует
Спасибо @GorillaFrame
И #gguf
https://huggingface.co/QuantStack/Qwen-Image-Distill-GGUF
Спасибо @ArtNeiroDz
#text2image #optimization
Дистиллированный qwen в репо Comfy-Org присутствует
Спасибо @GorillaFrame
И #gguf
https://huggingface.co/QuantStack/Qwen-Image-Distill-GGUF
Спасибо @ArtNeiroDz
#text2image #optimization
👍6
Qwen-Image-Lightning
Еще одна ускоренная модель, на 8 шагов.
На 4 шага - ждем
Протестировано на модели bf16 со стандартной нодой Lora
Гитхаб
Веса
Воркфлоу
#workflow #text2image #optimization
Еще одна ускоренная модель, на 8 шагов.
На 4 шага - ждем
Протестировано на модели bf16 со стандартной нодой Lora
Гитхаб
Веса
Воркфлоу
#workflow #text2image #optimization
👍8
Qwen-Image-Lightning-4steps-V1.0
А вот и четырехшаговая лора Qwen-Image
Гитхаб
Воркфлоу
#workflow #text2image #optimization #lora
А вот и четырехшаговая лора Qwen-Image
Гитхаб
Воркфлоу
#workflow #text2image #optimization #lora
🔥6👍3😁1👨💻1