MusicGen прикрутили в демку для генерации музыки по изображению. Можно также добавить в качестве затравки кусочек музыки. Следющим постом прикреплю как он себе представляет рикролл

А вообще у этого автора много интересных спейсов на HF

#image2music #text2music #music2music #audio

Audio Webui

Инсталлятор для опенсорсных аудионейросетей.
Сам не пробовал, на вопросы ответить не смогу

Гитхаб
Колаб
Твиттер с примерами

#tools #audio

UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance