LLM по полочкам: от матриц до ризонинга
Попался объёмный гайд «LLM по полочкам: от матриц до ризонинга» от Data Secrets. Это не просто про архитектуру трансформеров — здесь собрана целая история того, как появилось то, что мы сегодня называем LLM.
Путь начинается с перцептрона Розенблатта (1957) и первых RNN. Потом — LSTM и «AI winter», когда интерес к ИИ схлынул из-за завышенных ожиданий. Следующий перелом — AlexNet (2012): перенос обучения на GPU и старт глубинного обучения. Дальше «Attention is All You Need» (2017), «GPT-3 moment» (2020) и массовый запуск ChatGPT. Важно, что авторы акцентируют ключевые открытия: backpropagation, self-attention и scaling laws (работа OpenAI 2020), где впервые показали, что рост данных и параметров предсказуемо ведёт к росту качества.
Вторая часть — про математику. Линейная алгебра, градиенты, кросс-энтропия. Всё сведено к сути: зачем именно эти инструменты нужны, чтобы сеть могла учиться и уменьшать ошибку.
Дальше — алгоритмы. Трансформеры с вниманием, residual-связями и нормализацией. Файнтюнинг в двух вариантах: дообучение на сырых корпусах и supervised с input-output парами. Плюс лёгкие адаптации вроде LoRA, позволяющие «подстроить» модель без полного переобучения. RLHF показан не как аббревиатура, а как процесс: люди размечают ответы, на этом учат reward-модель, а уже она помогает корректировать поведение основной сети. Внутри этого контекста обсуждаются PPO, GRPO и DPO как разные способы обновления политики.
И наконец reasoning. Здесь появляются цепочки рассуждений (chain of thought): модель не просто даёт ответ, а идёт через промежуточные шаги. Авторы связывают это с test-time scaling — чем дольше модель размышляет на инференсе, тем выше итоговое качество. Но подчёркивают: это не бесконечный рост, а дополнительный ресурс, который работает только там, где есть проверка качества шагов.
Вместе всё складывается в цельную картину: научные открытия + развитие математики + новые алгоритмы + накопление данных и рост вычислительных мощностей. Именно эта комбинация и сделала возможным появление LLM.
#ликбез
@gen_i_i
Попался объёмный гайд «LLM по полочкам: от матриц до ризонинга» от Data Secrets. Это не просто про архитектуру трансформеров — здесь собрана целая история того, как появилось то, что мы сегодня называем LLM.
Путь начинается с перцептрона Розенблатта (1957) и первых RNN. Потом — LSTM и «AI winter», когда интерес к ИИ схлынул из-за завышенных ожиданий. Следующий перелом — AlexNet (2012): перенос обучения на GPU и старт глубинного обучения. Дальше «Attention is All You Need» (2017), «GPT-3 moment» (2020) и массовый запуск ChatGPT. Важно, что авторы акцентируют ключевые открытия: backpropagation, self-attention и scaling laws (работа OpenAI 2020), где впервые показали, что рост данных и параметров предсказуемо ведёт к росту качества.
Вторая часть — про математику. Линейная алгебра, градиенты, кросс-энтропия. Всё сведено к сути: зачем именно эти инструменты нужны, чтобы сеть могла учиться и уменьшать ошибку.
Дальше — алгоритмы. Трансформеры с вниманием, residual-связями и нормализацией. Файнтюнинг в двух вариантах: дообучение на сырых корпусах и supervised с input-output парами. Плюс лёгкие адаптации вроде LoRA, позволяющие «подстроить» модель без полного переобучения. RLHF показан не как аббревиатура, а как процесс: люди размечают ответы, на этом учат reward-модель, а уже она помогает корректировать поведение основной сети. Внутри этого контекста обсуждаются PPO, GRPO и DPO как разные способы обновления политики.
И наконец reasoning. Здесь появляются цепочки рассуждений (chain of thought): модель не просто даёт ответ, а идёт через промежуточные шаги. Авторы связывают это с test-time scaling — чем дольше модель размышляет на инференсе, тем выше итоговое качество. Но подчёркивают: это не бесконечный рост, а дополнительный ресурс, который работает только там, где есть проверка качества шагов.
Вместе всё складывается в цельную картину: научные открытия + развитие математики + новые алгоритмы + накопление данных и рост вычислительных мощностей. Именно эта комбинация и сделала возможным появление LLM.
#ликбез
@gen_i_i
❤🔥2👍2🔥2
Друзья, вижу, что вам нравится рубрика #ликбез и я получаю теплый отклик от вас.
Спасибо большое каждому, кто читает и не скупится на реакции!
Мы уже разобрали темы ИИ-ассистентов, типового пайплайна ИИ-решений и защиты ИИ.
Давайте актуализируем, какие еще темы вы хотели бы разобрать в этой рубрике?
Спасибо большое каждому, кто читает и не скупится на реакции!
Мы уже разобрали темы ИИ-ассистентов, типового пайплайна ИИ-решений и защиты ИИ.
Давайте актуализируем, какие еще темы вы хотели бы разобрать в этой рубрике?
Telegram
ген ИИ
От ИИ-ассистентов к мультиагентным системам
Недавно я дал комментарий для ComNews на тему Agentic AI. Вышла неплохая статья, но я решил дополнительно написать пост, в котором хочу разобрать тему ИИ-агентов.
Современные технологии искусственного интеллекта…
Недавно я дал комментарий для ComNews на тему Agentic AI. Вышла неплохая статья, но я решил дополнительно написать пост, в котором хочу разобрать тему ИИ-агентов.
Современные технологии искусственного интеллекта…
🔥3❤🔥1👍1
Что еще разобрать в формате рубрики #ликбез?
Anonymous Poll
42%
Регуляторика в сфере ИИ
54%
Кейсы применения генеративного ИИ
17%
Экосистема игроков ИИ
25%
Меры поддержки ИИ
46%
Внедрение генеративного ИИ в закрытом контуре
4%
Другое (отвечу в комментариях)
⚡1❤🔥1🔥1
ИИ в государственном секторе и корпорациях. Хайп или реальная польза для бизнеса?
Исследование TAdviser при участии Rubytech про внедрение ИИ в крупных российских организациях — от банков и промышленных холдингов до федеральных ведомств.
Фокус — три направления: компьютерное зрение (доминирует в промышленности, госсекторе и финансах), генеративный ИИ/LLM (чат-боты, код, документы, контент) и прогнозная аналитика (риски, логистика, обслуживание оборудования). CV даёт осязаемый эффект — до 40% сокращения затрат на ручной контроль, снижение брака, повышение безопасности. Ген ИИ внедряется активнее, чем приносит пользы: его ROI заметно ниже классического ML, и пока нет устоявшихся методик расчёта эффекта, но компании двигаются по инерции «стратегической веры».
ИИ всё чаще выходит из зоны PoC в промышленную эксплуатацию. В финансах — риски, скоринг, антифрод, автоматизация бухучёта и инвестанализа; в промышленности — контроль качества, предиктивное обслуживание, цепочки поставок и цифровые двойники; в госсекторе — документооборот, прогноз соцрисков, автоматизация обращений граждан. При этом стратегии разные: у 70% ИИ встроен в общую цифровую трансформацию, у 30% — отдельные дорожные карты под ML и GenAI.
Главные барьеры:
➡️ нехватка структурированных данных и высокие трудозатраты на очистку;
➡️ дефицит GPU-ресурсов и сложности закупок оборудования;
➡️ бюрократия и регуляторные барьеры;
➡️ невозможность переиспользовать специализированное ИИ-оборудование;
➡️ разрыв между ИТ и бизнесом: завышенные ожидания («полная автономность» vs. реальный «круиз-контроль»);
как следствие — ориентация на проекты с чёткими KPI и измеримым ROI вместо абстрактных экспериментов.
Интересный блок в отчёте — универсальные принципы успеха. Всё упирается в организацию процесса: чёткая стратегия и понимание бизнес-цели, итеративность (MVP → пилот → масштабирование), приоритет безопасности (on-prem, соответствие ФСТЭК и ЦБ), обучение сотрудников и кросс-функциональные команды. Плюс внимание к этике и регулированию, чтобы решения не остались в «песочнице».
Суть: парадигма меняется — от хайпа и витринных кейсов к прагматике. Не изобретать новые «демо», а выжимать максимум из того, что уже работает, и строить вокруг этого инфраструктуру данных и процессов. Без этого никакие LLM и «агенты» не станут реальной опорой для бизнеса.
#аналитика
@gen_i_i
Исследование TAdviser при участии Rubytech про внедрение ИИ в крупных российских организациях — от банков и промышленных холдингов до федеральных ведомств.
Фокус — три направления: компьютерное зрение (доминирует в промышленности, госсекторе и финансах), генеративный ИИ/LLM (чат-боты, код, документы, контент) и прогнозная аналитика (риски, логистика, обслуживание оборудования). CV даёт осязаемый эффект — до 40% сокращения затрат на ручной контроль, снижение брака, повышение безопасности. Ген ИИ внедряется активнее, чем приносит пользы: его ROI заметно ниже классического ML, и пока нет устоявшихся методик расчёта эффекта, но компании двигаются по инерции «стратегической веры».
ИИ всё чаще выходит из зоны PoC в промышленную эксплуатацию. В финансах — риски, скоринг, антифрод, автоматизация бухучёта и инвестанализа; в промышленности — контроль качества, предиктивное обслуживание, цепочки поставок и цифровые двойники; в госсекторе — документооборот, прогноз соцрисков, автоматизация обращений граждан. При этом стратегии разные: у 70% ИИ встроен в общую цифровую трансформацию, у 30% — отдельные дорожные карты под ML и GenAI.
Главные барьеры:
как следствие — ориентация на проекты с чёткими KPI и измеримым ROI вместо абстрактных экспериментов.
Интересный блок в отчёте — универсальные принципы успеха. Всё упирается в организацию процесса: чёткая стратегия и понимание бизнес-цели, итеративность (MVP → пилот → масштабирование), приоритет безопасности (on-prem, соответствие ФСТЭК и ЦБ), обучение сотрудников и кросс-функциональные команды. Плюс внимание к этике и регулированию, чтобы решения не остались в «песочнице».
Суть: парадигма меняется — от хайпа и витринных кейсов к прагматике. Не изобретать новые «демо», а выжимать максимум из того, что уже работает, и строить вокруг этого инфраструктуру данных и процессов. Без этого никакие LLM и «агенты» не станут реальной опорой для бизнеса.
#аналитика
@gen_i_i
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤🔥1🔥1