🌟 Cемейство гибридных моделей Nemotron-H от NVIDIA.

NVIDIA выпустила новое семейство языковых моделей Nemotron-H, сочетающих архитектуры Mamba и Transformer. Эти гибриды обещают до 3х ускорения инференса по сравнению с чистыми Transformer-моделями аналогичного размера (Qwen или Llama).

Семейство поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки.

Основной фокус Nemotron-H — баланс между эффективностью и интеллектом: даже при меньшем числе параметров (47–56 млрд.) модели демонстрируют точность, близкую к DeepSeek-V3-671B.

Особенность Nemotron-H — использование FP8 для претрейна. 56B-версию обучали на 20 трлн. токенов с квантованием тензоров «на лету», а сжатую в FP4 модель c 47B можно запускать на потребительской RTX 5090 с поддержкой контекста до 1 млн. токенов. Правда, пришлось пожертвовать частью слоев самовнимания — их заменили на более легкие Mamba-блоки, чтобы ускорить генерацию.

NVIDIA не стала тренировать компактные версии модели с нуля. Вместо этого использовали дистилляцию: 47B-модель получили из 56B, удалив половину «тяжелых» слоев и дообучив на 63 млрд токенов. Результат — почти та же точность, но на 1.2x быстрее.

В бенчмарках Nemotron-H обходит конкурентов в математике и коде: на GSM8k 56B-версия дает 93.7% против 90.9% у Qwen-72B. А 8B-модель, хоть и уступает в MMLU, вырывается вперёд в HumanEval+ (56.1%) — ожидаемо, с учетом ее instruct-оптимизации.

Пока модели доступны на HF как базовые, но NVIDIA обещает добавить инструктивные и мультимодальные версии.

▶️В опенсорсный релиз были выпушены чекпоинты с контекстом 8 тыс. токенов:

🟢Nemotron-H-56B-Base-8K

🟢Nemotron-H-47B-Base-8K

🟢Nemotron-H-8B-Base-8K


📌 Лицензирование: NVIDIA Internal Scientific Research and Development Model License.


🟡Страница проекта
🟡Коллекция на HF
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #NemotronH #NVIDIA