SingLoRA
Cледующий шаг на пути к дешевому Файн-тюнингу моделей
Суть в том, что он использует одну матрицу вместо двух для корректировки параметров модели. Это удешевляет ее вдвое, переобучаем только 0.05 % параметров
#lora #optimization #finetuning
Cледующий шаг на пути к дешевому Файн-тюнингу моделей
Суть в том, что он использует одну матрицу вместо двух для корректировки параметров модели. Это удешевляет ее вдвое, переобучаем только 0.05 % параметров
#lora #optimization #finetuning
GitHub
GitHub - kyegomez/SingLoRA: This repository provides a minimal, single-file implementation of SingLoRA (Single Matrix Low-Rank…
This repository provides a minimal, single-file implementation of SingLoRA (Single Matrix Low-Rank Adaptation) as described in the paper "SingLoRA: Low Rank Adaptation Using a Single Matri...
👍6🔥1
PromptTea: Let Prompts Tell TeaCache the Optimal Threshold
Новый метод ускорения видеогенерации
Модель анализирует промпты и на основе их сложности автоматически настраивает процесс генерации видео.
Для простых видео модель работает быстрее, а для сложных — более внимательно, сохраняя высокое качество
Ускорение генерации в 2,79 раз при минимальной потере качества.
Поддерживает CogVideoX1.5, HunyuanVideo и Wan2.1
Код
#optimization
Новый метод ускорения видеогенерации
Модель анализирует промпты и на основе их сложности автоматически настраивает процесс генерации видео.
Для простых видео модель работает быстрее, а для сложных — более внимательно, сохраняя высокое качество
Ускорение генерации в 2,79 раз при минимальной потере качества.
Поддерживает CogVideoX1.5, HunyuanVideo и Wan2.1
Код
#optimization
👍13