Нейроперевод видео с липсинком от Heygen стал доступен. На старте дают 1 кредит, это в сумме на 1 минуту видео. Максимальный хронометраж одного видео 30 сек. И обещают накидывать 1 кредит в начале каждого расчетного периода (месяц? год? день?). И еще накидывают по кредиту за видео сгенеренное вашим реферралом.

Попробовать

#video2video #lipsync #speech2speech

Spotify запустил пилотную программу ИИ-дубляжа подкастов. Пока только на испанский, французский и немецкий языки.
Под капотом технологии OpenAI, на выходе сохраняется естественный голос оригинального диктора.
Магия будет доступна пользователям премиум-класса бесплатно по всему миру.

#dubbing #voicecloning #speech2speech #localization #podcast

UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance

Там Elevenlabs выкатили нейродубляж.
Главное, есть русский язык.
Смеется уморительно, наслаждайтесь

Попробовать

#speech2speech #dubbing #voicetranslation

#speech2speech #dubbing #voicetranslation

OWSM v3: An Open Whisper-style Speech Model from CMU WAVLab

Говорят, превосходит Whisper

- Распознавание речи для 151 языка
- Перевод речи с любого на любой язык
- Предсказание временных меток
- Транскрипция в длинной форме
- Идентификация языка

Демо
Колаб

#speech2text #translation #speech2speech #voice2text

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Генератор речи из текста по короткому заданному образцу. Воспроизводит не только индивидуальный голос, но и эмоции с интонациями.

Пока только английский язык, скоро сделают мультиязычную версию.

Код
Демо

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

Seamless Communication

Meta AI выпустили новую версию своего нейропереводчика.
На этот раз три модели:

SeamlessM4T v2 - улучшенная версия SeamlessM4T.
Демо

SeamlessExpressive - модель с акцентом на выразительность речи.
Демо

SeamlessStreaming - модель перевода в реальном времени, задержка 2 секунды.
Демо

Гитхаб

#dubbing #multimodal #llm #speech2speech #text2speech #speech2text #tts #stt

Появился Колаб для HierSpeech++
Ждем русский язык

Колаб

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning