FreeU : Free Lunch in Diffusion U-Net

Ну и раз открыл тему про ускорение инференса, пора упомянуть этот активно развивающийся проект. Улучшение и ускорение генерации изображений и видео без дообучения и лишних телодвижений.

Код
Демо

#text2image #text2video #optimization

Там Nvidia выпустили расширение и новый драйвер под Stable Diffusion, позволяющие получить до x2 прироста в генерациях за счёт использования тензорных ядер в видеокартах серий RTX.

Скачать само расширение можно тут: Github

По требованиям:
- Видеокарта RTX (RTX 20xx, 30xx, 40xx) на 8 Gb видеопамяти
- Установленный драйвер 537.58 и старше
- от 16 гигабайт RAM

Подробнее об установке и настройке можно прочесть в официальном гайде от Nvidia

Кто-то собрал неофициальную имплементацию RealFill

Код (неофициальный)

#image2image #inpainting #outpainting

Loop Copilot: Conducting AI Ensembles for Music Generation and Iterative Editing

Система генерации и изменения музыки через указания на естественном языке.
За понимание указаний, разумеется, отвечает языковая модель. Ну а для собственно музыки под капотом присутствуют генератор MusicGen, экстрактор стемов (отдельных источников звука) Demucs, генератор VampNet и описатель LP-MusCaps

Тренд интеграции разных нейросеток в один инструмент продолжает усиливаться.

Кода пока нет

#LLM #text2music #music2music #audio2audio

MIDIjourney: Your GPS for Groove and Pitch

И еще один композитор. На этот раз генератор MIDI по тексту в виде плагина для Ableton Live v10 и v11. Умеет сочинять как небольшие фразы, так и сложные композиции. Есть тут пользователи Ableton? Ждем ваши отзывы

Гитхаб

#text2music #text2midi #midi

Доброго утра, нейраны!
Что-то мне лениво постить новости, лучше проведу опрос.

Я любовно вручную отегиваю каждый пост, чтобы впоследствии было легче найти нужное. Пользуетесь ли вы тегами на этом канале? Находили ли по тегам искомое? И не знаете ли бота который умеет расставлять теги автоматически или хотя бы составить список всех тегов? Опрос выше

#poll

Поясняю для тех кто проголосовал за первый пункт. Теги это вот эти слова начинающиеся с решетки. Если кликнуть на тег, получаем список всех постов с таким же тегом. Я так ищу инструменты которые сразу не понадобились, а понадобились впоследствии. Например, нужен генератор глубины - ищу #image2depth

tungsten.run

Платформа для размещения и запуска SD моделей, прямой конкурент Civitai. Планируют монетизировать использование GPU, но пока генерация бесплатная.

SDK
Шаблон модели SD

#gallery #tools

Latent Consistency Models (LCM) скрещивают со стилизацией видео и получают 7 кадров в секунду на RTX 4090

реддит

#video2video #realtime