Нейронавт | Нейросети в творчестве

1:03

OWSM v3: An Open Whisper-style Speech Model from CMU WAVLab

Говорят, превосходит Whisper

- Распознавание речи для 151 языка
- Перевод речи с любого на любой язык
- Предсказание временных меток
- Транскрипция в длинной форме
- Идентификация языка

Демо
Колаб

#speech2text #translation #speech2speech #voice2text

🔥4👍1

1.01K viewsedited 11:29

0:54

HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Генератор речи из текста по короткому заданному образцу. Воспроизводит не только индивидуальный голос, но и эмоции с интонациями.

Пока только английский язык, скоро сделают мультиязычную версию.

Код
Демо

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

👍4

1.23K views11:25

2:53

Seamless Communication

Meta AI выпустили новую версию своего нейропереводчика.
На этот раз три модели:

SeamlessM4T v2 - улучшенная версия SeamlessM4T.
Демо

SeamlessExpressive - модель с акцентом на выразительность речи.
Демо

SeamlessStreaming - модель перевода в реальном времени, задержка 2 секунды.
Демо

Гитхаб

#dubbing #multimodal #llm #speech2speech #text2speech #speech2text #tts #stt

👍2

1.21K views06:55

0:35

1:00

Rask.ai

выкатили липсинк-перевод для нескольких спикеров одновременно. Что приятно, для русского есть бета клонирование голоса.

Зацените El Risitas

Попробовать

#lipsync #dubbing #speech2speech #translation

😁11👍4

1.39K views07:10

0:29

Появился Колаб для HierSpeech++
Ждем русский язык

Колаб

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

👍6👏1

1.19K viewsedited 07:32

0:54

0:42

Jump Cut Smoothing for Talking Heads

Очередная бомбическая штука от Adobe.
Вырезает из интервью лишние паузы, заминки и бесшовно сглаживает склейки.

Кода нет, есть только пооблизываться

#video2video #speech2speech

👍11🔥6❤1😁1

1.28K views11:14

HeyGen 5.0

Что нового
- AI Studio 3.0 - плтформа редактирования видео
- Мгновенные аватары - цифровой аватар, который выглядит и звучит точно так же, как вы
- Перевод видео - конвертируйте видео на разные языки, сохраняя при этом голос оригинального диктора и движения губ
- Персонализированные видеоролики
- Аватар для стриминга

#text2video #video2videp #lipsync #talkinghead #humanavatar #translation #speech2speech

👍4

1.7K views07:13

Обновился Resemble AI

Теперь он умеет за 1 минуту клонировать голос по 10-секундному отрывку с сохранением акцента.
Кроме английского есть португальский и французский. Русского нет. Ну и естественно есть библиотека голосов если вам надо озвучить текст.

Бесплатно можно склонировать 1 голос, остальные фичи - 300 секунд в месяц

Попробовать

#text2speech #speech2speech #voicecloning

❤3

2.37K viewsedited 11:19

0:31

Edit

В Resemble AI прикрутили редактирование звука речи через редактирование текста. В помощь живым запинающимся дикторам. Да, вот так как нам показывали Adobe 7 лет назад. Или что там, в премьер уже встроили эту фичу?

#speechediting #audioediting #text2speech #speech2speech

👍5🤯4

1.87K views07:00

0:32

LipDub ai

Сервис для высококачественного липсинка, дубляжа, персонализации видео, замены диалогов на видео.

Советую не мешкать и подать на бету прямо сейчас, собеседования уже расписаны до конца октября.
(Да, вам назначают встречу в Google Meet)

Вписаться в бета тест

#lipsync #dubbing #personalization #speechediting #speech2speech

🔥10

1.89K views13:02

Youtube auto dubbing

Youtube прикрутил автоматический дубляж видео. Привет @yabrowser

Чтобы видео было продублировано на другой язык, автор должен включить эту опцию

Пример дулбяж с французского на английский

#news #dubbing #speech2speech

👍10🔥4❤1

1.73K views12:26

Amphion/models/vc/vevo at main · open-mmlab/Amphion

Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement

День звука продолжается

Клонировщик-генератор голоса с контролем эмоций и тембра

Есть 4 модели

- Vevo-Timbre: преобразование голоса с сохранением стиля.
- Vevo-Style: преобразование стиля, например преобразование акцента и эмоций.
- Vevo-Voice: преобразование голоса с учетом стиля.
- Vevo-TTS: генерация речи по тексту с регулируемым стилем и тембром.

Примеры по ссылке в заголовке

Обучен на шести языках - английский, китайский, немецкий, французский, японский и корейский
Так что на русский пока не стоит рассчитывать

Код

#voicecloning #speech2speech #tts #text2speech

GitHub

Amphion (/æmˈfaɪən/) is a toolkit for Audio, Music, and Speech Generation. Its purpose is to support reproducible research and help junior researchers and engineers get started in the field of audi...

🔥5😭3👍2

2.43K views10:17

1:07

Bleep That Sh*t

Автоматически запикиваем любые заданные слова на видео

Под капотом Whisper, так что должно работать с русским языком

Код

#speech2speech #audio2audio

👍6

1.72K views08:13

0:52

0:48

VideoLingo

Универсальный опенсорсный инструмент для перевода, локализации и дубляжа видео, предназначенный для создания субтитров качества Netflix.

3-этапный процесс Перевод-Осмысление-Адаптация для кинематографического качества

За дубляж отвечают GPT-SoVITS, Azure, OpenAI и др

Поддержка входных языков (будет добавлено больше):

🇺🇸 Английский 🤩 | 🇷🇺 Русский 😊 | 🇫🇷 Французский 🤩 | 🇩🇪 Немецкий 🤩 | 🇮🇹 Итальянский 🤩 | 🇪🇸 Испанский 🤩 | 🇯🇵 Японский 😐 | 🇨🇳 Китайский* 😊

Перевод поддерживает все языки, а язык дубляжа зависит от выбранного метода генерации голоса

Гитхаб
Офсайт - 15 минут бесплатно

#dubbing #speech2speech #translation #subtitles #text2speech #speech2text #tts #stt

👍8

2.18K views08:44

0:29

Lipdub Translation Editor

Сервис дубляжа/липсинка Lipdub AI представил функцию корректирования перевода.

Вам дают скорректировать текст который будет звучать в финальном дублированном видео на целевом языке.

Дают попробовать даже на бесплатном тарифе

#lipsync #dubbing #personalization #speechediting #speech2speech

👍6🌚1

1.89K views12:47

1:08

Media is too big

Krisp

Голосовой шумодав (тот который встроен в дискорд) научился убирать из речи акцент. Пока только индийский акцент. В будущем добавят и другие

Можно использовать бесплатно, с лимитами

#speech2speech #deaccent #speechcorrection

😁23👍2❤1

2.01K views08:41

1:24

Media is too big

В яндекс браузер прикрутили дубляж с сохранением голоса и интонаций говорящего. До сих пор все дублировалось одним механическим голосом

Пока еще работает не для всех видео, вот здесь например уже новый дубляж

#dubbing #speech2speech

👍18❤3🔥1

2.24K viewsedited 12:18

0:34