🌟 WizardLM-2 8x22B — большая производительная модель семейства WizardLM второго поколения.

WizardLM-2 - набор моделей от Microsoft AI, построенный на базе Mixtral с улучшенной по сравнению с первым поколением производительностью, расширенными возможности и более глубоким пониманием сложных задач.

WizardLM-2 8x22B: флагманская модель.
Благодаря сочетанию экспертной архитектуры (MoE) и 141 миллиарду параметров модель показывает конкурентную производительность в сравнении с лидирующими проприетарными аналогами.
По оценкам бенчмарка MT-Bench 8x22B превосходит существующие современные модели с открытым исходным кодом.

⚠️ Внимание! Модель имеет размер около 300Gb

WizardLM-2 использует формат системных промптов Vicuna и поддерживает композитные диалоги.
Пример системного промпта:

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful,
detailed, and polite answers to the user's questions.
USER: Hi ASSISTANT: Hello.</s>
USER: Who are you?
ASSISTANT: I am WizardLM.</s>

⚖️ Лицензирование: Apache-2.0 license

🟡 Модель на Huggingface
🖥 Код для демо инференса

@ai_machinelearning_big_data

#LLM #WizardLM-2 #ML