✔️ Transformers & LLMs cheatsheet for Stanford's CME 295

Это репозиторий с набором визуальных шпаргалок, посвященных трансформерам и большим языковым моделям (LLM).

🌟 Материалы основаны на курсе CME 295 "Трансформеры и большие языковые модели", читаемом в Стэнфордском университете.

Это не книга или подробный туториал, а именно сжатые, наглядные обзоры ключевых концепций. Используются диаграммы, краткие пояснения, основные формулы и определения.

✔️Содержание: Охватывает фундаментальные темы, необходимые для понимания LLM:
✔️Механизм внимания (Attention Mechanism)
✔️Архитектура Трансформера (Transformer Architecture)
✔️Позиционное кодирование (Positional Encoding)
✔️Предобучение (Pre-training) и его цели (например, Masked Language Modeling, Next Sentence Prediction)
✔️Дообучение (Fine-tuning) для конкретных задач
✔️Промптинг (Prompting) и различные его техники
✔️Оценка (Evaluation) LLM
✔️Другие важные концепции в этой области.

Идеально подходит для повторения материала или для того, чтобы быстро схватить суть той или иной концепции.

🟡Github
🟡Multi-Head Attention Shape Transformations

#ml #cheatsheets #transformers