🔥 DeepSeek V3.1 и китайские чипы

Всего несколько слов в официальном комментарии DeepSeek вызвали резкий рост акций китайских производителей чипов и оживлённые дискуссии среди экспертов. Речь идёт о новой архитектуре UE8M0 FP8 и следующем поколении китайских ИИ чипов. Давайте разбираться, почему это важно.

🎯 Ключевые улучшения DeepSeek V3.1
• Гибридная архитектура: объединяет «мыслящие» и «немыслящие» режимы работы в единой структуре
• Эффективность: сокращение использования токенов на 20–50% при сохранении качества ответов
• Производительность: превосходит Claude 4 Opus в многозадачном программировании (Aider benchmark)

🧠 Что такое UE8M0 FP8?
FP8 (8-битный формат с плавающей точкой) — это современный стандарт для ускорения вычислений в глубоком обучении. Его преимущества:
• Экономия памяти: занимает в 4 раза меньше места, чем FP32
• Скорость: выше параллелизация вычислений (например, в 2 раза быстрее FP16 на NVIDIA Hopper)
• Точность: сохраняет точность полноразмерных форматов

UE8M0 — это специализированный вариант FP8, разработанный DeepSeek. Особенности:
• Только неотрицательные числа (оптимизация под активации)
• 8 бит полностью отведены под экспоненту (широкий динамический диапазон)
• Совместимость с микромасштабированием (compressed training)

🇨🇳 Поддержка китайских чипов
Новый формат разработан для совместимости с перспективными китайскими процессорами, в частности с Huawei Ascend (с поддержкой HiFloat8). Это может означать постепенный переход на полный стек китайских технологий — от железа до софта.

💎 Вывод
DeepSeek V3.1 демонстрирует не только конкурентные способности в задачах ИИ, но и стратегический шаг к созданию независимой экосистемы искусственного интеллекта в Китае.

Подробнее в оригинальной статье.

#КитайскийИИ #КитайAI #DeepSeek #Huawei

🐋 DeepSeek-V3.1 теперь можно запускать локально

Оригинальная модель весила 715GB, но её удалось уменьшить до 170GB RAM (−80%) с помощью новой техники квантовки Dynamic 1-bit GGUF.

⚡ Огромная экономия памяти

👉 Подробный гайд: https://docs.unsloth.ai/basics/deepseek-v3.1
👉 GGUF-модель: https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF

Теперь топовую DeepSeek реально запустить даже на локальной машине, а не только в дата-центре 🚀

@ai_machinelearning_big_data

#DeepSeek #GGUF

Интересный обзор архитектур open-source LLM за 2025г The Big LLM Architecture Comparison

Забавно, как каждая из моделей по-своему комбинирует уже известные подходы, придуманные еще в прошлых года, при этом получая разнонаправленное влияние на метрики (Qwen3 почти не отличается по GPT-OSS. Тут детальнее про GPT-OSS). Например:
• Переход от ванильного Multi-Head Attention к Grouped-Query Attention (GQA), который появился ещё в 2023 году
• Attention Bias, который не использовали со времён GPT-2 и Attention Sinks обучаемый параметр для каждого блока внимания, которые применили в gpt-oss, хотя придумали его ещё в 2023 году
• NoPE (No Positional Encoding) — интересная идея, но её пока применили только в одной модели из обзора
• MoE (mixture of experts) - тоже известная больше года история

За деталями рекомендую к статье. Интересно на каких данных и как именно обучали модели. Но этой информацией зачастую делятся очень верхнеуровнево

📝 Инсайты с Interspeech: Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech

Большинство LLM, которые нативно работают со звуком, состоят из трёх компонентов: аудио-энкодер, адаптер и текстовая LLM (подробнее — в статье про GigaChat Audio).
Обычно для обучения аудиомодальности в LLM добавляют LoRA-адаптеры, чтобы сдвинуть веса в сторону восприятия аудио. Однако в LLaMA 3 и SLM добавляли понимание речи, оставив веса LLM полностью замороженными. На первый взгляд, это должно ограничить модель — например, она сможет только транскрибировать речь, но не определять эмоцию или пол спикера.

В настоящей статье авторы показывают, что это не так. Замороженная LLM способна воспринимать эмоции из эмбеддингов аудиозаписи, если обучить адаптер на подходящем наборе данных.

В популярной схеме AudioChatLlama используется принцип инвариантности к модальности: берут текстовые транскрипции, на их основе LLM генерирует ответы, а при обучении эти ответы сопоставляют уже с аудио. То есть модель учат давать одинаковый ответ и на текст, и на аудиозапись. В этой работе развивают идею: данные по-прежнему генерируются из транскрипций, но к ним добавляют теги эмоций и стиля. LLM генерирует разные варианты ответов в зависимости от того, с какой эмоцией произносится фраза. Далее адаптер обучается так, чтобы аудиозапись с меткой «радостно» или «грустно» вызывала у замороженной LLM соответствующий emotion-conditioned ответ. Благодаря этому даже замороженная текстовая модель начинает учитывать паралингвистику и различать стиль речи.

Отдельный вопрос: какую LLM использовать для генерации текстовых описаний при подготовке датасета — исходную или более сильную? Мы спросили автора работы: таких экспериментов они не проводили, но предполагают, что важно генерировать данные исходной LLM, чтобы не было несоответствия между распределениями токенов.

Это подтверждают и в статье DeSTA 2.5 (TABLE III). Там сравнивали self-generation (датасет создаёт сама LLM) и кросс-модельные сценарии. Оказалось, что при self-generation результаты стабильнее и выше, чем при использовании более сильной LLM для генерации данных. Также модель чаще выбирает ответ «недостаточно информации», чем выдает галлюцинации — что делает её надёжнее.

Итак, даже текстовая LLM может быть чувствительной к эмоциям в аудиозапросе, если правильно обучить адаптер и использовать данные, сгенерированные самой моделью.

Мы еще вернемся к вам с обзорами интересных статей, а пока предлагаем изучить материалы:
- A Journey through Emerging Speech Research with NVIDIA NeMo
- Survey talk: Advances in Conversational Speech Recognition

Всем привет!
Встречайте восьмой выпуск еженедельного подкаста "Капитанский мостик", в котором обсуждаем новости из мира ИИ за прошедшую неделю и не только. Ведущие выпуска - Дмитрий Колодезев и Ирина Голощапова.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube

мы рады сообщить, что наконец запустились на всех подкастных площадках:
Zvuk
Яндекс.Музыка
Apple Podcasts
YouTube Music
Castbox
VK Музыка
Саундстрим
Deezer

подписывайтесь и слушайте нас, где вам удобно

📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Релиз двух новых моделей и обновление нейминга серии RuadaptQwen3 🎉

Мы подготовили целых два релиза:
- 🚀 Адаптированная Qwen3-8B → RuadaptQwen3-8B-Hybrid
- 🚀 Адаптированная Qwen3-4B-Instruct-2507 → RuadaptQwen3-4B-Instruct

Обе модели достойно себя показывают и обладают нашим Ruadapt токенайзером. В частности, мы недавно измерили разницу в скорости генерации (RuadaptQwen3-4B-Instruct против Qwen3-4B-Instruct-2507):
- ⚡️ Скорость генерации ответов на ru_arena_hard вопросы — на 40% быстрее для Ruadapt версий!
- ⚡️ Скорость ответа на вопрос в 300 тыс. символов — на 83% быстрее!

Также важный анонс по поводу нейминга моделей 🔄:
Все текущие RuadaptQwen3 модели будут вскоре переименованы из RuadaptQwen3-XB-Instruct → в RuadaptQwen3-XB-Hybrid, так как по сути они являются моделями с гибридным ризонингом (4B модель уже переименована, 32B на днях).
А чисто инструктивные версии будут называться RuadaptQwen3-XB-Instruct (как, например, адаптация Qwen3-4B-Instruct-2507).

Модели на HuggingFace:
https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid
https://huggingface.co/RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF

https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Instruct
https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Instruct-GGUF