И еще отличная новость.
AudioCraft, AudioLDM 2 и некоторые другие нейросетки можно установить локольно к себе на компьютер в один клик через специальный браузер Pinokio.

Устанавливаете браузер, нажимаете кнопку Discover и выбираете из доступных нейросетей.

❗️Имейте ввиду, что при установке нейросетей браузер скачает увесистые файлы, для AudioLDM 2 это 8+ Гб

Скачать Pinokio

Статья от автора устновщика на английском с инструкцией и примерами

#text2music #text2audio #tools

AudioCraft Plus

Еще один однокнопочный установщик AudioCraft в браузере Pinokio. С возможностями, которых нет в других сборках:
- можно задать тональность
- можно задать темп
- можно выбрать тип лада

Установить можно по инструкции из предыдущего поста про Pinokio

Старую сборку в корзину!

#text2music #text2audio #tools

Авторы AudioLDM 2 выложили чекпойнт для генерации звука 48 КГц. До сих пор был доступен только 16КГц

Гитхаб

#text2music #text2audio #text2speech #TTS

WavJourney: Compositional Audio Creation withLarge Language Models

Еще один интересный генератор звука, который я почему-то забыл запостить на прошлой неделе.

Интересен он тем что генерирует полную звуковую последовательность по сценарию. Скармиливаете ему сценарий с таймкодами (можно и без них) - на выходе получаете полноценную радиопрограмму или подкаст. Сценарий, кстати, тоже можете не писать, в демо реализован генератор сценария по текстовому запросу.

На видео генерация по запросу Марсианские новости о запуске зонда к Альфа Центавра

Код
Демо

#text2audio

Для генератора речи Bark появился демоспейс, можно клонировать голос по 20-секундному образцу.

Демо

#text2audio #tts #voicecloning #text2speech

Stable Audio
Генератор музыки по текстовому запросу от Stability AI.
На бесплатном тарифе до 20 некоммерческих треков в месяц по 45 секунд.
Можено генерировать как готовые треки, так и отдельные инструменты и немузыкальные звуковые эффекты.
Загружается с трудом, видимо, там аншлаг.

Объявляю парад вашей генеративной музыки в комментариях

#text2music #text2audio

Riffusion

Генератор песен, звучит офигительно, работает быстро.
Из минусов - продолжительность трека всего 12 секунд.

Запилил для вас пару цитат Бендера.
Кидайте творчество в коменты.

В коментах есть лайфхак

#text2music #text2song #text2audio

Вот несколько важных штук о которых я вам не успевал рассказать. Текст честно с@$&дил у Олега. И тегов насыплю чтобы можно было найти по поиску

— Alibaba представили виртуальную примерку OutfitAnyone, загружаете фото и примеры одежды, получаете фото в одежде или даже анимацию 🕺💃 Демо, Сайт проекта.

— В Open-Source появилась модель Mistral 8x7b, превосходящая результаты GPT 3.5 при низких требованиях к железу 🔥 Подробнее, Попробовать.

— Разработчики выпустили Dobb-E: open-source framework для обучения домашних роботов 🤖 Сайт, Клип.

— Meta выпустила Foundation Model для генерации звука: голоса, музыки, спецэффектов и т.д 🎶 Ссылка.

— Google выпустили новый генератор музыки MusicFX. Работает для Штатов, Австралии и Кении 🎹 Слушать, Проверить здесь.

— RunwayML представили "text-to-speech" для генерации закадрового голоса и диалогов на несколько разных голосов 🎙 Ссылка.

— DeepMind представили FunSearch - метод исследования с использованием больших языковых моделей для открытия новых решений в математике и информатике 🌐 Блог-пост, Статья в Nature.

— Google выпустили новый генератор text2video 📽 Демо, Статья.

— StabilityAI выпустили Stable Zero123 для генерации 3D 🧊 Новость, Код.

— WonderJourney: модульный фреймворк с использованием LLM для генерации 3D-сцен и формирования "чудесных путешествий" 🌅 Сайт.

— PowerPaint: модель для редактирования изображений через инпейтинг, аутпейтинг и ControlNet 🖌 Сайт.

#inpainting #outpainting #textto3D #text2video #text2speech #text2music #voicecloning #text2audio #text2sound

MAGNeT: Masked Audio Generation using a Single Non-Autoregressive Transformer

Генератор музыки/звука от Еврейского Университета Иерусалима

Код
Демо
Колаб

#text2music #text2audio