🔮 CN-AI-MODELS | ИИ модели Китая

🔥 Huawei представила языковую модель Pangu Ultra на 135 млрд параметров

Компания Huawei представила новую версию своей флагманской модели — Pangu Ultra. Это первая в Китае крупномасштабная языковая модель, полностью разработанная и обученная на отечественных чипах Ascend NPU без использования западных технологий.

Главное достижение:
• Модель (135B) превосходит Llama 405B и Mistral Large 2, соответствуя DeepSeek-R1 при меньшем размере
• Обучалась на 8192 NPU Ascend и 13.2 триллионах токенов с уникальными архитектурными решениями

🔍 Технологические инновации:

Стабильность обучения
• DSSN (Depth-scaled sandwich-norm) – новая архитектура нормализации для глубоких моделей
• TinyInit – революционный метод инициализации параметров

Оптимизация данных
• "Умный" токенизатор с 153,376 токенами (охватывает код, математику, языки)
• Трехэтапное обучение: общие знания → логика → специализация

⚡ Рекордные показатели:
- Поддерживает контекст до 128К токенов (~170 тыс. китайских иероглифов)
- Достигла 50% эффективности использования вычислительных ресурсов (MFU) на кластере из 8192 NPU

Технические детали:
• Гибридный параллелизм: 128DP × 8TP × 8PP + виртуальный конвейер
• Оптимизации системы: MC2, NFA, RoPE-операторы
• Потребление памяти сокращено на 30% за счет общего кэширования

📌 Вывод: Pangu Ultra доказывает возможность создания конкурентных LLM без зависимости от западных технологий, открывая новую эру китайского ИИ.

Технический отчет

#КитайскийИИ #КитайAI #Huawei #LLM #БольшиеМодели

🚀 Китайский ИИ прорыв: Huawei представила «суперузел» Atlas 900 A3 SuperPoD, превосходящий NVIDIA

На проходящей сейчас в Шанхае Всемирной конференции по искусственному интеллекту (WAIC 2025) Huawei впервые продемонстрировала инновационный «суперузел» Atlas 900 A3 SuperPoD — систему, признанную «жемчужиной выставки».

🚀 Главное:
• Впервые показан Atlas 900 A3 SuperPoD с 384 NPU
• Поддержка более 80 крупных языковых моделей
• 6000+ готовых отраслевых решений

🔹 Что такое Atlas 900 A3 SuperPoD?
Это мощный вычислительный узел, состоящий из:
- 12 вычислительных шкафов
- 4 коммуникационных шкафов
- 384 NPU-карт (нейропроцессоров)

💡 Ключевые преимущества:
✔️ Вычислительная мощность — 300Pflops (x1.7 NVIDIA NVL72)
✔️ Скорость передачи данных — 269 ТБ/с (+107% к NVIDIA)
✔️ Пропускная способность памяти — 1229 ТБ/с (+113%)
✔️ Скорость генерации текста — до 2300 токенов/сек на карту

⚙️ Технические детали:
• Использует революционную «полностью равноправную архитектуру» (full peer-to-peer architecture), заменяющую традиционную архитектуру фон Неймана
• Технология MatrixLink обеспечивает прямое соединение всех компонентов (CPU/NPU/DPU/память)
• Поддержка кластеров с десятками тысяч карт (Atlas 900 SuperCluster)
• Ускорение работы моделей LLaMA3, Qwen, DeepSeek в 2.5–3 раза

🌐 Практическое применение
Система уже используется в:
- Финансах и телекоммуникациях
- Энергетике и образовании
- Медицине и транспорте
Создано 6000+ отраслевых решений при участии 2700 партнеров.

📌 Вывод:
С выходом Atlas 900 A3 Китай значительно укрепляет свои позиции в области ИИ-инфраструктуры, предлагая полноценную альтернативу решениям NVIDIA. Несмотря на технологическое отставание в производстве чипов, Huawei успешно компенсирует этот разрыв через инновационные математические методы и создание мощных кластерных решений — стратегию, которую недавно озвучил основатель компании Жэнь Чжэнфэй.

#КитайскийИИ #КитайAI #Huawei #Суперкомпьютеры #WAIC2025

🔥 DeepSeek V3.1 и китайские чипы

Всего несколько слов в официальном комментарии DeepSeek вызвали резкий рост акций китайских производителей чипов и оживлённые дискуссии среди экспертов. Речь идёт о новой архитектуре UE8M0 FP8 и следующем поколении китайских ИИ чипов. Давайте разбираться, почему это важно.

🎯 Ключевые улучшения DeepSeek V3.1
• Гибридная архитектура: объединяет «мыслящие» и «немыслящие» режимы работы в единой структуре
• Эффективность: сокращение использования токенов на 20–50% при сохранении качества ответов
• Производительность: превосходит Claude 4 Opus в многозадачном программировании (Aider benchmark)

🧠 Что такое UE8M0 FP8?
FP8 (8-битный формат с плавающей точкой) — это современный стандарт для ускорения вычислений в глубоком обучении. Его преимущества:
• Экономия памяти: занимает в 4 раза меньше места, чем FP32
• Скорость: выше параллелизация вычислений (например, в 2 раза быстрее FP16 на NVIDIA Hopper)
• Точность: сохраняет точность полноразмерных форматов

UE8M0 — это специализированный вариант FP8, разработанный DeepSeek. Особенности:
• Только неотрицательные числа (оптимизация под активации)
• 8 бит полностью отведены под экспоненту (широкий динамический диапазон)
• Совместимость с микромасштабированием (compressed training)

🇨🇳 Поддержка китайских чипов
Новый формат разработан для совместимости с перспективными китайскими процессорами, в частности с Huawei Ascend (с поддержкой HiFloat8). Это может означать постепенный переход на полный стек китайских технологий — от железа до софта.

💎 Вывод
DeepSeek V3.1 демонстрирует не только конкурентные способности в задачах ИИ, но и стратегический шаг к созданию независимой экосистемы искусственного интеллекта в Китае.

Подробнее в оригинальной статье.

#КитайскийИИ #КитайAI #DeepSeek #Huawei