Elevenlabs раскатали фичу генерации звуковых эффектов для всех

Elevenlabs Sound Effects

#text2audio

Stable Audio Open

Stability AI опубликовали в опенсорсе свою модель генерации звуковых эффектов по текстовому описанию. Музыку тоже может, но зачем оно вам надо с таким качеством. Впрочем, дополнить кусочек вашего трека новым кусочком сможет.

Модель обучена на данных с Freesound и Free Music Archive, поэтому проблем с правами быть не должно.

В демоспейсе мультиплеер - в нем можете не только генерировать свои звуки, но и послушать генерации коммьюнити.

Код/веса
Демо

#text2audio #music2music #text2music

EzAudio: Enhancing Text-to-Audio Generation with Efficient Diffusion Transformer|

Генератор звука по тексту. Заданные фразы от него будет трудно получить, а звуковые эффекты - норм

Код ждем
Демо

#text2audio

Director

Думайте о Director как о ChatGPT для видео. Это платформа для создания видеоагентов, которые могут решать сложные видео-задачи, такие как поиск, редактирование, компиляция, генерация и т.д., и мгновенно транслировать результаты.

Код
Попробовать онлайн первые 50 видео - бесплатно

#videoediting #online #text2video #text2audio #text2movie

MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis

Генератор звука по видео или текстовому описанию

Код
Демо
Колаб

#video2audio #video2sound #text2audio

Появились ноды для генератора звука MMAudio
Спасибо @p0lygon

ComfyUI-MMAudio

#ComfyUI

ComfyUI-TangoFlux

Для желающих заморочиться по генерации звуковых эффектов подвезли #ComfyUI ноды TangoFlux

#text2audio #text2sfx #foley

Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation

Генератор звука по тексту, по входному звуку, инпейнтинг звука, примеры по ссылке в заголовке

Умеет:
- контроль акустики
- контроль материала предметов, издающих звук
- контроль высоты тона
- контроль хронологии событий

Демо
Код
Колаб ноутбуки

#text2audio #tta #audio2audio #audioinpainting

Minimax Lifelike Audio

Дизайн голоса - прорыв в области создания голоса:
Любой промпт, любой голос, любая эмоция
Полностью настраиваемый и многоязычный интерфейс

Речь по тексту, клонирование голоса, создание голоса. Музыку тоже может но это неточно

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music

Minimax Voice Design завезли на fal.ai

Если есть кредиты, использовать здесь

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music