PlayDiffusion

Редактирование речи - инпейнтинг звука речи на основе диффузии от Play HT / Play AI или как их там...

Сохраняет окружающий контекст, обеспечивая плавные переходы и согласованные характеристики говорящего.

Принимает на вход аудио до 50 секунд, файл до 50Мб


Попробовать на офсайте
Демо на HF
Веса
Код

Еще из новинок сервиса: липсинк


#audioinpainting #speech2speech #speechediting #tts #lipsync #text2speech

OpenAudio S1

полностью кастомный ИИ-диктор от Fish Audio
Говорят что занял первое место на TTS-арене - не нашел

Клонирует голос за 15 секунд.
Можно выбирать любые эмоции, паузы, вздохи, шепот, крики, акценты и стили озвучки вашего текста.

Подходит для озвучки видео, аудиокниг, подкастов и так далее.

Поддерживает русский язык

#tts #text2speech #voicecloning

Chatterbox TTS

Генератор речи в опенсорсе от Resemble AI

#SOTA в клонировании голоса без обучения? клонирует по 5-секундному образцу

Под капотом 0.5B Llama.
Уникальный контроль выразительности.
Водяные знаки на выходе.
Легкий скрипт для конверсии голоса.
Превосходит ElevenLabs.

Есть в Pinokio

Код
Демо - по русски не понимает, генерирует эльфийский
Веса

#tts #text2speech #voicecloning

fluxions AI vui

Небольшие разговорные модели речи, которые могут запускаться на устройстве

Это опенсорсный конкурент notebooklm

Голосовая модель 100М параметров

Умеет клонировать голос

модели могут издавать различные неречевые звуки. Добавляйте в текст охи-ахи, это должно улучшить результат

Vui.BASE - базовая модель, обученная на 40 тысячах часов аудио-разговоров.

Vui.ABRAHAM - модель одного говорящего, может отвечать с учетом контекста.

Vui.COHOST - диалоговая модель двух собеседников

Попробовать на офсайте - на старте дают 10000 кредитов. По русски ни бельмес к сожалению. Качество речи ужасное. Ах да, это ж мелкие модели для смартфонов

Код
Веса
Демо - здесь будет HF демоспейс

#tts #text2speech #voicecloning #conversation #mobile

Minimax Lifelike Audio

Дизайн голоса - прорыв в области создания голоса:
Любой промпт, любой голос, любая эмоция
Полностью настраиваемый и многоязычный интерфейс

Речь по тексту, клонирование голоса, создание голоса. Музыку тоже может но это неточно

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music

заработал демоспейс мобильного генератора речи и подкастов vui

По-русски ни бельмес

Демо

#tts #text2speech #voicecloning #conversation #mobile #podcast

Kyutai TTS

Генератор речи в реальном времени. Выдает аудиопоток начиная с первых текстовых токенов, без необходимости знать весь текст заранее.

Клонирует голоса на основе 10-секундного аудиообразца. Эта функция сейчас недоступна

Предоставляет таймкоды для каждого генерируемого слова. Это позволяет использовать модель для создания субтитров в реальном времени

Но на данный момент знает только английский и французский языки

Код
Веса
Колаб

#tts #text2speech #voicecloning #realtime

Hume EVI 3

Модель от Hume AI клонирует не только голос, но язык и манеру говорить.
Может работать в связке с разными LLM

Обещают в ближайшем будущем поддержку многих языков

Для доступа притворитесь что вы не в РФ

Попробовать
Попробовать в Playground

#tts #text2speech #voicecloning

Русский F5‑TTS

Голосовая модель дообученная на русский язык на 5000+ часов.
Есть сравнение с X‑TTS и FishSpeech

для изменения ударения поставьте символ + перед ударной гласной (молок+о → молокó).
Для автоматической расстановки ударений можно использовать модель RUAccent

веса

#tts #russian #text2speech

RUaccent портативная сборка от подписчика @muxastarikov

#tts #russian #text2speech