⚡️ Ruadapt-Qwen2.5-3B-instruct_v4: Адаптированная к русскому языку с помощью LEP Qwen2.5.

НИВЦ МГУ разработал RuAdaptQwen-3B – адаптированную версию модели Qwen2.5_3B.

Ключевой элемент адаптации - Learned Embedding Propagation (LEP) . Это метод, позволяющий эффективно интегрировать улучшенную токенизацию в существующие инструктивные модели.

Вместо полной замены токенизатора, LEP корректирует эмбединги, чтобы обеспечить лучшую совместимость с слоями модели.

Новый токенизатор, используемый в RuAdaptQwen-3B, учитывает специфику русского языка, сохраняя при этом высокую производительность на английском. Это позволило ускорить инференс русскоязычного текста до 60%.

Оценка в бенчмарке Ru-Arena-General принесла RuAdaptQwen-3B 66 баллов, она превзошла большинство моделей с 7-8 млрд. параметров.

Квантованная версия


🟡Модель на HF


@ai_machinelearning_big_data

#AI #ML #LLM #MSU #RuQwen