WavJourney: Compositional Audio Creation withLarge Language Models

Еще один интересный генератор звука, который я почему-то забыл запостить на прошлой неделе.

Интересен он тем что генерирует полную звуковую последовательность по сценарию. Скармиливаете ему сценарий с таймкодами (можно и без них) - на выходе получаете полноценную радиопрограмму или подкаст. Сценарий, кстати, тоже можете не писать, в демо реализован генератор сценария по текстовому запросу.

На видео генерация по запросу Марсианские новости о запуске зонда к Альфа Центавра

Код
Демо

#text2audio

Для генератора речи Bark появился демоспейс, можно клонировать голос по 20-секундному образцу.

Демо

#text2audio #tts #voicecloning #text2speech

Stable Audio
Генератор музыки по текстовому запросу от Stability AI.
На бесплатном тарифе до 20 некоммерческих треков в месяц по 45 секунд.
Можено генерировать как готовые треки, так и отдельные инструменты и немузыкальные звуковые эффекты.
Загружается с трудом, видимо, там аншлаг.

Объявляю парад вашей генеративной музыки в комментариях

#text2music #text2audio

Riffusion

Генератор песен, звучит офигительно, работает быстро.
Из минусов - продолжительность трека всего 12 секунд.

Запилил для вас пару цитат Бендера.
Кидайте творчество в коменты.

В коментах есть лайфхак

#text2music #text2song #text2audio

Вот несколько важных штук о которых я вам не успевал рассказать. Текст честно с@$&дил у Олега. И тегов насыплю чтобы можно было найти по поиску

— Alibaba представили виртуальную примерку OutfitAnyone, загружаете фото и примеры одежды, получаете фото в одежде или даже анимацию 🕺💃 Демо, Сайт проекта.

— В Open-Source появилась модель Mistral 8x7b, превосходящая результаты GPT 3.5 при низких требованиях к железу 🔥 Подробнее, Попробовать.

— Разработчики выпустили Dobb-E: open-source framework для обучения домашних роботов 🤖 Сайт, Клип.

— Meta выпустила Foundation Model для генерации звука: голоса, музыки, спецэффектов и т.д 🎶 Ссылка.

— Google выпустили новый генератор музыки MusicFX. Работает для Штатов, Австралии и Кении 🎹 Слушать, Проверить здесь.

— RunwayML представили "text-to-speech" для генерации закадрового голоса и диалогов на несколько разных голосов 🎙 Ссылка.

— DeepMind представили FunSearch - метод исследования с использованием больших языковых моделей для открытия новых решений в математике и информатике 🌐 Блог-пост, Статья в Nature.

— Google выпустили новый генератор text2video 📽 Демо, Статья.

— StabilityAI выпустили Stable Zero123 для генерации 3D 🧊 Новость, Код.

— WonderJourney: модульный фреймворк с использованием LLM для генерации 3D-сцен и формирования "чудесных путешествий" 🌅 Сайт.

— PowerPaint: модель для редактирования изображений через инпейтинг, аутпейтинг и ControlNet 🖌 Сайт.

#inpainting #outpainting #textto3D #text2video #text2speech #text2music #voicecloning #text2audio #text2sound

MAGNeT: Masked Audio Generation using a Single Non-Autoregressive Transformer

Генератор музыки/звука от Еврейского Университета Иерусалима

Код
Демо
Колаб

#text2music #text2audio

Elevenlabs раскатали фичу генерации звуковых эффектов для всех

Elevenlabs Sound Effects

#text2audio

Stable Audio Open

Stability AI опубликовали в опенсорсе свою модель генерации звуковых эффектов по текстовому описанию. Музыку тоже может, но зачем оно вам надо с таким качеством. Впрочем, дополнить кусочек вашего трека новым кусочком сможет.

Модель обучена на данных с Freesound и Free Music Archive, поэтому проблем с правами быть не должно.

В демоспейсе мультиплеер - в нем можете не только генерировать свои звуки, но и послушать генерации коммьюнити.

Код/веса
Демо

#text2audio #music2music #text2music

EzAudio: Enhancing Text-to-Audio Generation with Efficient Diffusion Transformer|

Генератор звука по тексту. Заданные фразы от него будет трудно получить, а звуковые эффекты - норм

Код ждем
Демо

#text2audio

Director

Думайте о Director как о ChatGPT для видео. Это платформа для создания видеоагентов, которые могут решать сложные видео-задачи, такие как поиск, редактирование, компиляция, генерация и т.д., и мгновенно транслировать результаты.

Код
Попробовать онлайн первые 50 видео - бесплатно

#videoediting #online #text2video #text2audio #text2movie

MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis

Генератор звука по видео или текстовому описанию

Код
Демо
Колаб

#video2audio #video2sound #text2audio

Появились ноды для генератора звука MMAudio
Спасибо @p0lygon

ComfyUI-MMAudio

#ComfyUI

ComfyUI-TangoFlux

Для желающих заморочиться по генерации звуковых эффектов подвезли #ComfyUI ноды TangoFlux

#text2audio #text2sfx #foley

Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation

Генератор звука по тексту, по входному звуку, инпейнтинг звука, примеры по ссылке в заголовке

Умеет:
- контроль акустики
- контроль материала предметов, издающих звук
- контроль высоты тона
- контроль хронологии событий

Демо
Код
Колаб ноутбуки

#text2audio #tta #audio2audio #audioinpainting

Minimax Lifelike Audio

Дизайн голоса - прорыв в области создания голоса:
Любой промпт, любой голос, любая эмоция
Полностью настраиваемый и многоязычный интерфейс

Речь по тексту, клонирование голоса, создание голоса. Музыку тоже может но это неточно

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music

Minimax Voice Design завезли на fal.ai

Если есть кредиты, использовать здесь

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music