Как оценивать результаты обучения. Часть 1.

Начну большую и, возможно, самую дискуссионную тему в L&D сообществе. Так как по этому вопросу мне “много чего есть сказать”, то и формат будет лонгридный. По моим прикидкам, в итоге, будет 3 статьи.

Обещаю, что каждый найдёт себе что-то интересное, как кажется, мой взгляд на тему оценки эффективности обучения сильно отличается от общепринятого, ну и основывается он на огромном количестве реализованных T&D проектов.

В общем, приятного чтения!
Часть 1. NPS и уровень реакции.

Продолжения:
Часть 2. Каких результатов ждёт бизнес.
Часть 3. Про деньги и немного ROI.
Часть 4. Выводы.

#размышления

📘 «Проектирование образовательного опыта», Соня Смыслова

Есть у меня ТОП-5 книг, которые должен прочесть каждый в корпоративном обучении. Естественно, поделюсь))) Сегодня первая книга.

Для кого книга: Методисты, инструкционные дизайнеры. На самом деле - для всех, кто связан с обучением.

Основная фишка книги.
Соня собрала все ключевые теоретические основы андрогогики (обучения взрослых). Так получилось, что ключевые авторы западной профессиональной литературы не издавались у нас (Ноулз, Магер, Ганье, Блум...) В своё время, изучение книг\теорий, на которую опирается автор у меня ушло года 3, тут же всё под одной обложкой.
При этом, ключевая тема книги - это построение учебного опыта студента. То есть, в центр системы мы ставим именно ученика и тот опыт, который он получает. Это абсолютно трендовая история сейчас во всём мире.
Как итог, в книге хайповая тема опирается на классические методологии. Ну круто же?

Ключевая польза от прочтения.
Для новичков в обучении - вы сможете почти пошагово выстроить учебный проект, основываясь на проверенных методиках, параллельно ознакомившись с классикой.
Для опытных - точно найдёте как усилить свой ближайший проект. Да и просто получите удовольствие от чтения профессиональной литературы, которая хорошо написана и структурирована.

Моё резюме.
Я эту книгу сначала купил в электронном формате и, в процессе чтения, начал её пиарить всем. После этого коллеги мне заказали в типографии индивидуальную распечатку этой книги! Сейчас читаю третий раз и постоянно нахожу что-то новое для себя.

Вот тут можно легально и бесплатно прочитать первую главу книги.

#книжный_клуб

Как оценивать результаты обучения. Часть 2.

Вторая (из трёх) статья про оценку обучения готова.

В первой части было про NPS и оценки удовлетворённости.

Во второй части - про то, каких результатов ждёт бизнес от обучения. И, по пути, коснёмся 2,3 и 4го уровня по Киркпатрику.

В общем, приятного, а самое главное - полезного, чтения!
(предупрежу - получился большой лонгрид, минут на 5 вдумчивого чтения)

Часть 2. Знания, желаемое поведение и влияние на бизнес результат.

#размышления

Как оценивать результаты обучения. Часть 3.

Вот и дошли до части про деньги)))
Должен признать, что несколько раз её переписывал - очень сумбурно получалось. В итоге, пришёл к выводу, что быть ещё и 4ой части, в которой попробую свести всё к единому знаменателю.

Предлагаю вам поделиться своим опытом в комментариях - были ли у вас проекты, где вы высчитывали прибыль, после обучения и как это делали.

Часть 3. Деньги и немного ROI.

Хорошего дня!


#размышления

Инструменты решения учебных задач.

Когда-то давно, в одном L&D проекте мне надо было договориться с методистами, с которыми раньше не работал, о форматах контента.

🛠 Я принципиален в отношении этого вопроса - нет идеального формата и для достижения целей их необходимо смешивать. Мне кажется, признак слабой команды решать все учебные задачи одним форматом контента. Кто-то умеет делать скорм-курсы - и он любую задачу решает скорм курсом, кто-то умеет вести тренинги - и на все запросы предлагает тренинги, особая моя любовь - "игропрактики", они на все проблемы предлагают поиграть))))
⚡ Для разных задач есть разные инструменты, которые более или менее уместны в зависимости от ситуации.


📎 В общем, для тех, кто работал над тем проектом я собрал очень простой майндмеп, про то, какие задачи какой формат дистанционного контента может решать. Сейчас преобразовал майндмеп в таблицу. Это очень поверхностная таблица, её точно можно расширять и углублять, но вдруг и в таком виде она сможет быть вам полезной.

P.S.: если есть желание - накидайте в комменты, что ещё стоит добавить, я учту в следующей версии.

Электронные курсы или e-learning.
Часть 1. Терминология.

Продолжу серию статей про форматы обучения. И сегодня про один из самых популярных. Этой теме посвящу минимум 3 поста, чтобы раскрыть максимально со всех сторон.

Лет 15 назад в корпоративное обучение в наших краях стал активно внедряться e-learning. Я первые курсы делал году в 2007. Тогда это казалось чем-то космическим! При этом, произошёл огромный косяк, который определил взлёт этого формата - на русский язык название формата перевели как электронные КУРСЫ, тем самым, как мне кажется, вселили в формат то, чем он не является. По факту, электронный курс - это электронный УЧЕБНИК, и содержит в себе все минусы учебника:
❌ сам по себе не является обучением (ну вы же не скажете, что человек, который прочитал учебник по математике, “прошёл обучение по математике”)
❌ контент “на знания” в 99% случаев (имеется ввиду, что ты можешь увеличить свои знания, но вот получить практику - только в крайне редко используемом формате - тренажёра, важно - НЕ диалогового)
❌ не работает без преподавателя\учителя…

Я и вправду считаю, что очень большая беда этого формата, в неправильном названии. Когда сотрудник обучения говорит “мы сделали КУРС по переговорам”, звучит мощно и, как будто бы, самодостаточно. Только человек пройдя этот курс по переговорам ни разу не произнесёт ни единого слова, что для обучения переговорам, согласитесь, странно. А вот если бы называли этот формат верно - электронным УЧЕБНИКОМ, вот тогда бы и отношение было другим, сразу понятно, что к учебнику требуются другие учебные форматы, чтобы сделать из него настоящий курс обучения.

Отдельная боль нейминга - “диалоговый тренажёр” внутри этих “электронных курсов”, это же насмешка! Как может быть тренажёр ДИАЛОГОВЫМ, если пройдя его весь ты НИ РАЗУ не произнесёшь ни слова и не поучаствуешь ни в одном диалоге? Понимаете о чём я?
То есть, опять подмена понятий - адаптивный ТЕСТ, в которым ты выбираешь что можно ответить клиенту кто-то назвал диалоговым тренажёром… Продолжая пример из предыдущего абзаца, команда обучения говорит - “мы сделали курс по переговорам с диалоговым тренажёром, где человек отточит применение инструментов перехвата инициативы”, а по факту - человек прочитает учебник и дальше, в тесте, мышкой выберет верные ответы.

И вот эта подмена понятий испортила просто хороший инструмент - от него стали ждать очень многого. Во многих компаниях приравняли пройти обучение - изучить электронный учебник. Так же, многие компании разочаровались в дистанционном обучении, видимо, ожидая, что человек прочитавший учебник вдруг изменит поведение…

Мой вывод: давайте кошек называть кошками, слонов - слонами, e-learning - электронным учебником, “диалоговый тренажёр в scorm” - адаптивным тестом. Тем самым, не закладывать в формат то, чем он не является.

P.S.: дальше будет больше позитива про формат. Если вам показалось, что у меня претензии к формату - нет, я его обожаю, просто его надо верно использовать, а вот об этом - в следующий раз.

P.P.S.: мне кажется, есть ещё одни выгодоприобретатели от неверной терминологии - провайдеры. Так как за разработку КУРСА, можно запросить и миллион, а вот за разработку УЧЕБНИКА, уже вряд ли)))

В этом цикле уже были посты про:
🎥 Видео в обучении
🎙 Подкасты в обучении

#форматы

Форматы развивающих встреч команды обучения.

Это первый пост с хештегом #команда_обучения под которым буду делиться опытом взаимодействия в рабочей команде (отдел обучения\ корпоративная академия).

И сегодня про развивающие форматы встреч команды. Являюсь сторонником концепции - если мы разрабатываем обучения, то и сами должны быть постоянно в обучении.

1. Насмотренность - моя любовь.
Использую этот формат уже в третьей компании. Суть - мы заранее выбираем курс\урок\ любой дистанционный формат научения (такого контента очень много на рынке, любой провайдер предоставит свои курсы\проекты для ознакомительного прохождения). Проходим вместе, и на встрече обсуждаем во фрейме:

- что хорошо в этом курсе
- что я бы в нём улучшил
- что я из этого возьму себе в работу.

Кроме всего прочего, такой формат повышает ту самую насмотренность - "а что делают на рынке?" И каждый может оценить - а то, что мы делаем, на сколько "в тренде" и качественно. Ещё один плюс формата - выравнивается общее понимание команды, что хорошо, а что плохо. Потом, в обсуждение какого-нибудь проекта, может всплыть фраза “…это можно сделать, как в том курсе было…” и все сразу поймут о чём речь.

Цель формата: повышаем насмотренность, находим решения для себя, создаём общую понятийную базу.

Кто участвует: абсолютно вся команда.

2. Пробовали формат - Методический кружок.
Когда ребята проходят обучение на внешних курсах, они делятся изученными материалами. Тем самым для них, это поддержка в обучении - они структурируют новую инфу и передают остальным, потом этот контент обсуждается.

Кто участвует: те, кому интересно развиваться в методике обучения.

Цель формата: те, кто проходят обучения - структурируют свои новые знания, остальные - цепляют самое ценное, "без воды".

3. Дважды запускали Книжный клуб.
Когда вся команда читает одну и ту же профессиональную книгу с одинаковой скоростью, а на встрече обсуждаются прочитанные на данный момент главы. Прямо сейчас у нас идёт второй запуск этого формата и читается книга Смысловой.

Цель формата: выровнять понимание терминологии и инструментария в команде.

4. Ещё один интересный формат - Дискуссионный клуб.
Выбираем спорную тему из профессии, обсуждаем её в 2 круга:
📌 Отношение к обсуждаемой теме.
📌 Есть ли ей место в корпоративном обучении.
Очень интересное было обсуждение “эмоционального интеллекта”))))

Цель формата - выровнять понимание, расширить своё представление по тем или иным вопросам, лучше понять коллег.

По частоте встреч. Стараемся, чтобы раз в 2 недели была какая-то из таких встреч. Что важно, такие встречи - это легальная возможность вынырнуть из рабочих задач и приятно пообщаться с коллегами.

Если хочется попробовать что-то из перечисленного у себя и хочется лучше понять алгоритм - спрашивайте, отвечу)))

Подкаст про Адаптацию.

Да, я люблю подкасты. И уже писал про этот формат и как мы используем его в обучении. Но сегодня не об этом.

Сходил в гости на подкаст "Курсы, рок и L&D" (отдельный респект за название). И мы с Романом приятно пообщались про Адаптацию персонала. Выпуск получился более философским, чем прикладным, но, если тема адаптации вам сейчас актуальна - рекомендую, что-то значимое для себя найдёте)))

🔊 Страница подкаста Курсы, рок и L&D
🔊 А какие профессиональные подкасты вы слушаете?

Электронный учебник или e-learning. Часть 2. Уместность использования.

Первая часть была про нейминг и завышенные ожидания. Сегодня, как и обещал, поговорим про то, что всё таки это добротный и нужный формат в современном обучении.

Говоря про “хороший” электронный учебник в формате scorm, нужно говорить о двух вещах:
📌 уместность использования
📌 качество разработки
Статья про уместность использования ниже ⬇

#форматы

Ребята, привет!

Сегодня пост, который выбивается из расписания (не вторник и не пятница) - а всё просто, каналу сегодня 2 месяца!
Пока что удаётся держать темп - 2 поста в неделю, при этом, посты не перепечатка чужих или ИИ-сгенерированные, а мои реальные мысли, идеи, опыт… Кстати, выдавать 2 продуманных поста в неделю - настоящая работа))))

Нас в канале уже более 300 человек - приятно! Это мотивирует. Моя цель - 1000 участников за полгода, без рекламы и включения “в папочки”. Хочу, чтобы канал стал медиа для настоящих профи в корп обучении, а не очередным замьюченым мусором в папке.

Если вам интересен канал и вы видите в нём пользу для комьюнити, можно, попрошу о подарке?

Перешлите пожалуйста следующий пост ⬇ с содержанием канала, кому-то из своих коллег, кто работает в обучении и кому он может быть полезным.

Спасибо вам и до завтра!

Привет!

кто_взял_кликер - первый тг-канал про корпоративное обучение.
Основа контента - авторский материал. Минимум банальности, максимум практических мыслей и идей.

За 2 месяца вышли материалы на темы:

#форматы обучения
Видео в обучении
Подкасты
VR в обучении софтам
Электронные курсы (учебники) или E-Learing (часть 1, часть 2)

#кейсы
Кадровый резерв
Дайджест, как элемент PR обучения

#размышления
КОНТЕКСТуализация контента
Как оценивать результаты обучения (часть1, часть 2 и часть 3)
Инструменты решения учебных задач

#команда_обучения
Формат развивающих встреч

#книжный_клуб
С.Смыслова “Проектирование образовательного опыта”

Присоединяйся!

Электронный учебник или E-Learning. Часть 3.

Важно понимать, что в зависимости от задач и от формата e-learning’a, который вы используете, критерии “хорошего” электронного учебника будут разные. Мы с командой, и сделали много учебников и отсмотрели много работ других команд (про наш формат “насмотренности” писал выше). И несколько месяцев назад, сделали “разгон”, исходя из нашего опыта, а что такое “хороший e-learning”. Результаты его свели в:

#форматы

Мои ключевые выводы:
📌 Электронный курс это всего лишь учебник, и сам по себе не является обучением. Он работает в связке с другими учебными активностями.
📌 В e-learning можно собрать минимум 5 разных типов учебников, пробуйте разные, подходящие под вашу задачу.
📌 И важно помнить, что всегда можно улучшить учебник, тем самым помочь ученику разобраться с материалом. Этому могут помочь наши чек-листы.

P.S.: спасибо моей команде за разработку этих чек-листов. Кстати, "разогнать" какой-нибудь профессиональный вопрос\стандарт, тоже является хорошим развивающим мероприятием для команды.

Как оценивать результаты обучения. Часть 4. Резюме.

Как и обещал, подвожу итог своих размышлений в трёх частях про измерение результатов обучения. В этой статье общие выводы, для тех, кому лень читать три больших лонгрида)))

Предлагаю всё обучение в корпорате разделить на несколько групп:

А. Постоянное обучение новичков (входное обучение).
Что тут измерять:
📌 скорость выхода на “взрослый план” (это сложный вариант)
📌 текучку на испытательном сроке
📌достижение нужного уровня скилла, по договорённости с бизнесом.
Это простая история, чаще всего от вас требуют сотрудника с минимально-удовлетворительным уровнем скилла для работы. Тут измерение достижения результата, чаще всего, идёт в формате разного рода экзаменов.
Рекомендация 1: К этим экзаменам, привлекать бизнес заказчика, ведь именно они лучше понимают, кто им подходит.
Рекомендация 2: Периодически исследовать ту профессию, которой вы учите. У нас буквально в прошлом году такое исследование показало, что профессия сильно изменилась, у неё появилось много нюансов, а обучение как было разработано 10 лет назад, так и шло.
Рекомендация 3: если, всё таки, нужно измерение бизнес-метрик от входного обучения, то лучше сделайте это сразу, при запуске первых групп, и если результат ок, то потом измерять можно точечно, например, раз в год.

Б. Системное обучение руководителей. Важнейшая задача для корпоративных университетов\академий. При этом, данный тип обучения, крайне тяжело обсчитать в метриках.
Рекомендация: так как результат работы руководителя, это результат работы команды, то и замерять надо команду. Из моего опыта - на большой программе обучения руководителей в большом it корпорате, мы использовали чуть изменённый тест Гэллопа на команду до и после. Тем самым смотрел ощутили ли сотрудники изменившиеся патерны поведения руководителя. Ну и потом смотрели связь изменений в результатах Гэллопа и бизнес результатах команд. И связь просчитывалась почти у всех (динамика изменения бизнес метрик у разных команд, про то, что нужно смотреть именно динамику - писал в третьей статье).

В. Профилактические обучения. Можно назвать ещё “обучение на вырост”, распространены в больших компаниях. Что-про выгорание, про эмоциональный интеллект, про стресс…
Вещь хорошая, но, на мой взгляд, вообще не просчитываема в бизнес-результатах. У нас есть байка на этот счёт: если приглашаешь провайдера на проект обучения руководителей, они презентуют красивую программу, но как только предлагаешь им в качестве метрик успеха обучения - бизнес метрики, то первым из программы пропадает эмоциональный интеллект)))
В общем, если есть ресурсы проводите, но как считать эффективность таких проектов - не знаю))))

Г. Точечное решение бизнес-запросов (в том числе: кадровые резервы и курсы повышения квалификации). Вот об этом более подробно ниже, так как это большой пласт работы команд обучения. ⬇