⚡📢SeamlessM4T

SeamlessM4T is designed to provide high quality translation, allowing people from different linguistic communities to communicate effortlessly through speech and text.

Только что Meta выпустила самый мощный нейро-переводчик на сегодняшний день. SeamlessM4T понимает более 100 языков и умеет осуществлять все типы переводов: из текста в текст, из речи в текст, из текста в речь и даже из речи в речь.

▪Github
▪Article
▪Demo
▪Hugging face

ai_machinelearning_big_data

TADA! Text to Animatable Digital Avatars

генератор анимируемых 3D аватаров по тексту. На выходе качественный меш с текстурами, пригодный для анимации в 3D-пакетах

Код обещают выложить

#text2avatar #textto3D #humanavatar

OpenAI открыли пользователям возможность дообучать GPT-3.5 на своих данных.

Разумеется, онлайн. Разумеется, платно.

Колаб от Дениса Ширяева

#LLM #finetuning

Simulon

Воу, воу, конкурент Wonder Studio!
Это работает в смартфоне в дополненной реальности в реальном времени!

Записаться в бетатест для iOS

твиттер

#characteranimation #compositing #lighting #AR

Делюсь результатами эксперимента которым я занимался последнее время.
Это не совсем обычный апскейл и реставрация. Не видел чтобы кто-то использовал такой подход и решил попробовать.

Если наберется несколько заинтересованных комментариев, сделаю туториал.

Рад буду вашей поддержке комментариями и лайками на ютубе

https://youtu.be/swN85-ceRMg?si=5zLfRCxHg3MWyZFY

#neuronaut_art #upscale

https://youtu.be/qM4X02HRRf0

Опробовал SeamlessM4T на мастер-классе Курта Воннегута.
Использовал демоспейс, в котором, как я понял, крутится самая старшая модель SeamlessM4T-Large. То есть, лучше не будет.

Первые впечатления

- забывает перевести значительные части аудиофайла. Закидываешь в него минуту (это максимум на демоспейсе) - переводит только первые 12 секунд. Это самый большой недостаток

- русский голос звучит довольно живо, в отличие от, например, нейродублера видео в Яндекс браузере

- при этом дубляж на русский звучит как косноязычный переводчик, не знающий как ставить ударения в самых обычных словах. Иногда добавляет лишние слоги в слова, иногда теряет

- судя по построению фраз есть ощущение что перевод осуществляется не напрямую с английской речи в русскую речь, а через текст. Хотя, конечно, не через текст, а через токены.

- если хочется поправить что-то в речи, можно сначала перегнать в текст, а потом текст в речь. В демоспейсе все это есть.

Вердикт. Надеюсь, что хотя бы часть недостатков можно списать на ограничения демоспейса. Если в колабе будет так же, то для дубляжа на русский эта модель бесполезна. Быстрее перевести и озвучить вручную

#dubbing #multimodal #nauronaut_art #llm #speech2speech

В Modelscope добавили Image2Video и Video2Video
Теперь можно делать видео из картинки и стилизовать видео. Есть колаб ноутбук, который, видимо, запустится только на платном аккаунте.
Есть демо, для которого нужна рега на modelscope.

Колаб
Демо

#Image2Video #Video2Video

Ideogram

Новый генератор картинок по тексту от Google.
Из сильных сторон - умеет генерировать текст на картинках, но не русский.

записаться в вейтлист (сейчас доступ дают сразу)

#text2image

Code Llama
Новый ассистент программиста от Meta AI, на базе Llama 2. По тестам бьет всех известных конкурентов.

Code Llama выпустили в трех версиях: основная, для Python и с акцентом на исполнение инструкций.

Гитхаб
Блог (у меня открывается только через VPN)
Колаб

#coding #llm

camenduru уже напилил нам Colab ноутбуков Code Llama, пользуйтесь

Колаб

#coding #llm

нейрокотиков вам в ленту

твиттер

#нейрокотики

🔥 Ученые сделали нейропротез для расшифровки речи парализованного человека с анартрией.
Считанный с мозга пациента сигнал отправляется на вход цифрового аватара, который генерирует речь.

Nature
Ютуб (5 минут)

#brain2speech #mindreading

Авторы AudioLDM 2 выложили чекпойнт для генерации звука 48 КГц. До сих пор был доступен только 16КГц

Гитхаб

#text2music #text2audio #text2speech #TTS

WavJourney: Compositional Audio Creation withLarge Language Models

Еще один интересный генератор звука, который я почему-то забыл запостить на прошлой неделе.

Интересен он тем что генерирует полную звуковую последовательность по сценарию. Скармиливаете ему сценарий с таймкодами (можно и без них) - на выходе получаете полноценную радиопрограмму или подкаст. Сценарий, кстати, тоже можете не писать, в демо реализован генератор сценария по текстовому запросу.

На видео генерация по запросу Марсианские новости о запуске зонда к Альфа Центавра

Код
Демо

#text2audio