Step-Audio 2: Breakthrough in End-to-End Large Audio Language Model

Вторая версия китайской аудиоязыковой модели (#LALM) от Степана (Step-fun)

Две модели:
Step-Audio 2 mini
Step-Audio 2 mini Base

— может обрабатывать аудио в режиме end-to-end, минуя сложные многоступенчатые пайплайны;

— понимает паралингвистическую информацию: стили речи, эмоции, интонацию;

— обращается к внешним инструментам, например, веб-поиску, чтобы уменьшить количество ошибок;

— переключает тембры в реальном времени по текстовому запросу;

— демонстрирует лучшие в отрасли результаты (верим, верим) в тестах на понимание аудио и ведение диалогов;

— поддерживает многоязычность, включая английский и китайские диалекты;

— генерирует повествования и учитывает эмоции в диалогах.

Гитхаб
Демо
HF
Чат на офсайте - без новой говорилки
AppStore - но доступно в мобильной аппке

#ALM #voicechat #assistant #iOS #mobile #chat #voicemode