Рассуждения про модель Киркпатрика, оценку эффективности обучения, регрессионный анализ и, главное, отношение HR -а к этому.

Мы рассматривали сегодня регрессионный анализ. Было при этом максимально человек 25. Что очень мало для нашего портала.

Если бы вебинар был по теме Модель Киркпатрика, уверяю вас, было бы человек 90-120. От чего так? Я не буду отвечать прямо, дабы не обидеть рынок, а поррассуждаю.

Модель Киркпатрика

Когда речь заходит о практическом применении модели Киркпатрика, то HR -ы обычно говорят: мы оцениваем первый уровень… а мы уже второй… а мы еще и третий…

В этот момент хочется тупо спросить: …и?

В нашем случае модель выглядит так

Критерий эффективности = Ф1 + Ф2 + Ф3 и т.п…

В случае с моделью Киркпатрика критерием эффективности выступают экономические факторы, хотя Киркпатрик отошел от этого и помимо экономических метрик (hard ) предлагает не экономические (soft ): такие как улучшение процессов, организационной культуры и т.п… Это безусловно, от безысходности. Можно как угодно называть это, но по простому за изменениями корпоративной культуры чаще стоят всего лишь опросы персонала. Но нам надо по модному назвать это измерением корпоративной культуры.

Итак

Чаще всего за критерием эффективности у нас будут стоять только опрос экспертов – это самая доступная процедура.

Либо, что предпочтительнее – уровень продаж, уровень ошибок, объем выполняемых работ и т.п… - т.е. некий вещественный результат

А вот все остальные факторы – обратная связь, мотивация, уровень знаний, навыки - являются вкладом в эти критерии. И наша задача усмотреть связь (или ее отсутствие) между этими факторами и критериями эффективности.

Как нам помогает в этом модель Киркпатрика? Хреновасто, прямо надо сказать. В лучшем случае мы сами (а никак не с указания Киркпатрика) меряем корреляции между уровнями модели. Но и это нам мало помогает

Регрессионный анализ

Более того, в модели регрессионного анализа факторов может быть разное количество. На этом фоне смешной выглядит дискуссию о первом уровнемодели Киркпатрика : должна ли быть это обратная связь или внутренняя мотивация сотрудников. В регрессионном анализе и то, и другое возможно, причем уровень определяется весом фактора. И, например, обратная связь может быть вообще незначима, и это значит, что в данном конкретном случае измерять ее не имеет смысла.

Не, ну классно же?

Почему нет

Я опущу здесь опять критику в сторону HR , чтобы не выглядеть этаким теоретиком, который силен только в своем блоге. Безусловно, регрессионный анализ требует бОльшие ресурсы, чем Модель Киркпатрика. Безусловно, регрессионный анализ требует скилсы от HR более высокого уровня, чем для работы с моделью Киркпатрика.

Можно сетовать по этому поводу, а можно диагносцировать отрасль HR : в маркетинге незнание статистических методов уже моветон, в экономике статистика применяется на рабочем уровне. И представители маркетинга, экономисты не обсуждают вопросы, могут ли они быть бизнес партнерами. Этот вопрос стоит в HR .

Может быть мы станем бизнес партнерами, когда освоим регрессионный анализ вместо игрушек типа модели Киркпатрика?

Дональд Киркпатрик (Donald Kirkpatrick) - почётный профессор Университета Висконсин, автор четырехуровневого подхода к оценке эффективности тренинговых программ , бизнес-тренер, а также почётный председатель компании «Киркпатрик и партнёры».
Он является основоположником модели Киркпатрика, которая признана лучшей моделью профессиональной подготовки персонала во всём мире.

Вклад Киркпатрика в развитие тренинговых программ

Когда Д. Киркпатрик работал преподавателем в университете, ему пришла в голову мысль о том, что хорошо было бы не просто проводить занятия, а ещё и оценивать их.
Вначале он хотел оценить реакцию аудитории на его лекции и семинары. Но этого оказалось недостаточно. Дальше ему захотелось узнать, научились ли студенты чему-нибудь благодаря его занятиям, как они применяют эти знания на практике, изменилось ли их поведение и получили ли они положительные результаты?
Именно это и послужило основанием для известной модели оценки эффективности обучения . Эта модель состоит из четырёх уровней:
1) Реакция (оценка на данном уровне определяет, как участники программы реагируют на неё, т.е. это ряд мыслей, чувств и эмоций учащихся).
2) Обучение (на этом уровне происходит оценка приобретённых знаний и умений учащимися).
3) Поведение (этому этапу характерна оценка изменений в поведении учащихся под воздействием приобретённых знаний).
4) Результаты (сюда относятся все изменения, произошедшие с участниками обучающей программы).
После этого Дональд Киркпатрик написал диссертацию на тему «Оценка обучения в сфере человеческих отношений. Программа для руководителей» и получил степень доктора наук в Университете Висконсин.

Что написал Киркпатрик?

Спустя 5 лет он написал четыре статьи для Американского общества обучения и развития . Эти статьи касались непосредственно каждого из уровней модели оценки обучения. После этого общество признало Киркпатрика «гуру» в области оценки обучения .
Он достаточно серьёзно относится к применению своей модели оценки обучения и утверждает, что останавливаться на первом и втором просто недопустимо. Необходимо получать информацию по каждому этапу.
Основные труды Дональда Киркпатрика:

• «Оценка программ обучения: четыре уровня» (1975 г.);
• «Четыре ступеньки к эффективному тренингу»;
• «Как планировать и проводить производственные совещания»;
• «Эффективное управление изменениями».

Все его книги стали бестселлерами и разошлись миллионными тиражами.
Перу Д. Киркпатрика принадлежит огромное количество статей, которые публиковались с 1959 по 2011 год.

Достижения Киркпатрика

Вокруг модели, предложенной Киркпатриком, не стихают споры, но, тем не менее, она была и остаётся одной из основных в области тренингов и обучения.
Карьера Дональда Киркпатрика очень успешна: он написал несколько книг, которые и на данный момент являются наиболее цитируемыми; был президентом Американского общества обучения и развития.
Длительный период времени он продолжал заниматься общественной деятельностью, писать статьи и проводить семинары на самых крупных форумах мира.
Весь свой досуг известный тренер посвящает рыбалке, игре в гольф и семье.
На сегодняшний день Дональд Киркпатрик ушёл от публичности и стал использовать свой литературный и музыкальный талант в написании песен.

Ссылки

Это заготовка энциклопедической статьи по данной теме. Вы можете внести вклад в развитие проекта, улучшив и дополнив текст публикации в соответствии с правилами проекта. Руководство пользователя вы можете найти

дипломная работа

1.6 Модель оценки эффективности обучения Д. Киркпатрика

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».

Четырехуровневая модель оценки Киркпатрика
Пожалуй, самая известная модель оценки учебного процесса – модель Дональда Киркпартика Четырехуровневая модель оценки, которая впервые была представлена в серии статей в 1959 в the Journal of American Society of Training Directors (теперь известный как T+D Magazine). Данная серия была позднее скомпилирована и опубликована в виде статьи Techniques for Evaluating Training Programs в книге под редакцией Киркпатрика Evaluating Training Programs в 1975 году.

Тем не менее, четыре уровня модели Киркпатрика стали популярными только после выхода его книги Evaluating Training Programs в 1994 году. В наше время эти четыре уровня стали краеуголным камнем индустрии обучения.

В то время как большинство специалистов рассматривают эти четыре критерия оценки процесса обучения как «уровни», сам «Киркпатрик никогда не использовал данный термин, обычно он называл их шагами (Craig, 1996). Добавлю, что он не называл это моделью, но использовал для обозначения слова такие как «техники для проведения оценки» “techniques for conducting the evaluation” (Craig, 1996, p294).

Данные четыре шага состоят из:

Шаг №1: Обратная связь или реакция (далее в тексте я буду называть первый уровень – Обратная связь) ( Reaction ) – Насколько учащимся понравился/не понравился учебный процесс?;

Шаг №2: Обучение ( Learning ) -Что они изучали? (степень усвоения знаний и навыков учащимися);

Шаг №3: Поведение ( Behavior ) – Что изменяется в рабочей деятельности обучаемого в результате процесса обучения? (способность применять приобретенные в учебе знания и навыки в работе);

Шаг №4: Результаты ( Results ) – Каковы осязаемые (материальные) результаты процесса обучения в терминах снижения затрат, улучшения качества работы, увеличения выпуска продукции, повышения эффективности и т.п..?

Концепция Киркпатрика весьма важна, поскольку это отличный инструмент для планирования, оценки, диагностики проблем, особенно если мы внесем в нее незначительные улучшения, показанные ниже.

Не только для тренинга

Некоторые специалисты ошибочно предполагают, что модель Киркпатрика может применяться для тренинга (здесь имеется ввиду процессы формального обучения: тренинги, семинары – прим. Э.Б.), но модель может бы использована в работе с другими учебными процессами. К примеру, профессия Human Resource Development (HRD) связана не только с развитием процессов формального обучения, таких как тренинг, но также других форма, таких как неформальное обучение, развитие, наставничестве и воспитание (Nadler, 1984). В руководстве, изданном одним из основателей Human Resource Development (HRD) Leonard Nadler (1984), используется четырехуровневая модель Киркпатрика, как главная модель оценки учебного процесса.

Сам Киркпатрик писал: «Эти цели (ссылаясь на свою статью) будут относиться к обучению в классе (in-house classroom programs). Многие процедуры и принципы применяются ко всем видам учебной активност, таким как анализ эффективности деятельности, участие во внешних программах, программированное обучение, чтение специально подобранной литературы» (Craig, 1996, p294).

Развитие четырехуровневой модели

В силу «возраста» модели, а также с появлением новых, современных технологий, модель Киркпатрика часто критикуется за то, что она слишком устарела и проста. Но тем не менее, и спустя пять десятилетий после ее презентации, не нашлось адекватной модели, способной заменить модель Киркпатрика. И я уверен, причина, почему замены моделей не происходит, в том, что Киркпатрик был в основном прав, но он допустил несколько небольших ошибок:

Мотивация, а не обратная связь (Motivation, Not Reaction)

Когда обучаемый двигается в потоке учебного процесса, как например e-learning курс, эпизод неформального обучения или получая помощь от наставника в выполнении своей рабочей деятельности, он должен принимать решение, на что в первую очередь обращать свое внимание. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка. В дополнение, исследование оценки Обратной связи обычно показывают, что это не валидный инструмент оценки успешности (см. последнюю часть статьи Критика)

Это отличается от слов Киркпатрика (1996), который писал, что Обратная связь – это то, насколько обучаемые оценивают отдельный учебный процесс. Тем не менее, чем меньшее значение имеет учебный материал для учащегося, тем больше усилий нужно приложить для разработки и презентации данного материала. Следовательно, если учебный материал не имеет отношения к потребностям самого обучаемого, тогда учебный материал должен «цеплять» обучаемого навороченным дизайном, юмором, играми и т.д… Это не означает, что дизайн, юмор или игры неважны; тем не менее, их использование в учебном процессе гораздо больше, чем просто делать процесс веселым, они помогают и продвигают учебный процесс. И если учебный материал построен на основе ясных целей и дизайна, тогда это помогает учащемуся преодолеть разрыв между существующей и требуемой деятельностями. Следовательно, они (дизайн, юмор, игры) должны мотивировать к обучению – если это не происходит, значит что то пошло наперекосяк в процессе планирования и создания учебного процесса! Если вы вдруг поймаете себя на мысли, что пытаетесь зацепить обучаемых с помощью всяких заманух (дизайн, юмор, игры), вам, видимо, стоит пересмотреть цели вашего учебного процесса.

Деятельность, а не поведение (Performance, Not Behavior)

Деятельность (performance) лучше поведения (behavior), поскольку деятельность имеет два аспекта: поведение является средством и следствием поведения являются результаты. И собственно эти результаты нас интересуют больше всего Gilbert noted (1998).

Обратите это в Лучшую Модель

Модель, где два наиболее важных пункта – результаты и поведение находятся в конце, является перевернутой с ног на голову, поскольку важность пунктов отпечатывается в голове людей в порядке их расположения. Таким образом мы разворачиваем модель в обратную сторону и добавляем вышесказанное и получаем:

Результат (Result ) - Какое влияние (последствие или результат) улучшит ваш бизнес?

Деятельность (Performance ) – Что должны сделать работники, чтобы достичь желаемого эффекта?

Обучение (Learning ) – Какие знания, навыки, ресурсы им нужны, чтобы выполнять свою деятельность? (курсы и занятия в аудитории должны быть последними в списке)

Мотивация (Motivation ) – Что им нужно для того, чтобы осознанно учиться и выполнять деятельность?

Данная модель становится инструментом как планирования, так и оценки =диагностики проблем (Chyung, 2008):

Цели (планирование)	Уровень оценки
Каковы цели нашей компании для развития бизнеса?	Результаты Почувствован ли ожидаемый эффект?
Что наши обучаемые должны уметь выполнять, чтобы достичь этих целей?	Деятельность Были ли перенесены обучаемыми полученные навыки в работу?
Какие новые навыки, знания и ресурсы требуются обучаемым, чтобы они смоглы выполнять деятельность?	Обучение Осваивали ли обучаемые необходимые навыки и/или ресурсы?
Что обучаемым требуется для того, чтобы осознанно учиться и выполнять деятельность?	Мотивация Они мотивированы учиться и выполнять работу?

Исправленная модель может теперь быть использована для планирования (левая колонка) и оценки (правая колонка). В дополнение, это может быть использовано для диагностики проблемных зон процесса обучения. К примеру, вы знаете, что работники получили необходимые навыки в процессе обучения, но не применяют их в процессе работы, тогда становятся очевидными следующие проблемные зоны (в данном примере это ячейка Деятельность или ячейка слева от нее):

Существует нечто в рабочем окружении работника, что ограничивает применение им полученных им навыков; или

Сама исходная предпосылка, что данные навыки приведут к изменению в работе, неверна.

Диаграмма ниже показывает, как приведенные процессы исправленной модели сочетаются друг с другом

Организация

1. Результаты

Суммирующая оценка

Деятельность

2. Рабочая среда

Формирующая оценка

Учебная среда

3. Обучение

Формирующая оценка

Люди

4. Мотивация

Формирующая оценка

Как показывает вышеприведенная диаграмма, Оценка Результатов наиболее интересна руководству бизнеса, в то время как остальные три уровня оценки (деятельность, обучение и мотивация) являются основными для проектировщика обучения в компании для планирования и оценки учебных процессов; и конечно Оценка Результатов также важна для него, поскольку является поставщиком целей развития бизнеса.

Уровень первый – Результаты

Результаты или влияние

Несмотря на то, что обычно наиболее труден и трудозатратен, чем другие три уровня, это дает информацию, которая имеет огромную ценность: она доказывает ценность процессов обучения и выполнения деятельности. Тем не менее, использование модели Цели/Планирование/Оценка должно упростить и облегчить процесс, и вы будете иметь ясную картину того, что вы стараетесь достичь. То есть. Когда вы что-то начинаете планировать, у вас больше возможностей понять, как оценивать это.

Мотивация, Обучение и Деятельность в большей степени вопрос «мягких» единиц измерения (так называемые нефинансовые метрики); тем не менее, лица, принимающие решения, которые утверждают учебные процессы, предпочитают результаты (возврат инвестиций или влияние). Jack Phillips (1996), который вероятно знает лучше других четырехуровневую модель Киркпатрика , пишет, что ценность информации становится значительно выше, если мы идем от мотивации к результатам.

Вышеприведенное не означает, что другие три уровня бесполезны, в самом деле, выгода от их использования заключается в локализации проблем в учебном процессе:

Оценка мотивации информирует вас, насколько соответствует учебный процесс ожиданиям обучаемых (это измеряет, насколько хорошо отработан процесс анализа учебного процесса). Вы можете иметь корректными все другие уровни, но если обучаемые не увидят целей обучения и деятельности, они (обучаемые) вероятно не достигнут целей обучения.

Оценка обучения информирует вас, насколько учебный процесс действительно работает на обучение работников (эта оценка измеряет, насколько хорошо работает проектирование и развитие учебного процесса и материала).

Оценка деятельности информирует вас, насколько усвоенные навыки действительно конвертируются в деятельность работников (это измеряет, насколько хорошо отработан процесс анализа деятельности).

Оценка результатов информирует вас о том, что получает организация взамен того, что она вкладывает в поддержку процесса обучения. Лица, принимающие решения, обычно предпочитают результаты в твердых единицах измерения, хотя и не обязательно в долларах и центах. К примеру, опрос финансовых и IT руководителей показал, что они считают возврат вложенных средств на обучение клиент-ориентированных технологий как в твердых (hard), так и в мягких единицах измерения(soft), хотя удельный вес больше именно в не финансовых метриках (soft), таких как удовлетворенность и лояльность клиентов (Hayes, 2003).

Замечу о разнице между «информацией» и «возвратом средств». Измерения Мотивации, Обучения и Деятельности дает вам информацию для улучшения и оценки учебного процесса, который в бОльшей степени принадлежит проектировщикам обучения в компании; в то время как измерение Результатов дает вам показатель возврата инвестиций в учебный процесс, который больше связан с руководителями бизнеса.

Измерение Результатов может быть выполнено в подходе сбалансированных показателей (balanced scorecard) (Kaplan, Norton, 2001), которые показывают влияние или возврат инвестиций с четырех позиций:

Финансовая: измерение в показателях, таких как ROI, которые показывают монетарный возврат инвестиций, или насколько выходы процесса эффективны. Финансовые показатели могут иметь как «мягкие», так и «твердые» единицы измерения результата.

Клиентская: улучшение поля, где организация выстраивает свои различия от конкурентов в привлечении, удержании, построении глубоких и долгосрочных отношений с целевыми клиентами

Внутренняя: достижение совершенства за счет улучшения таких процессов как процесс управления поставками, производства или технической поддержки.

Инновации и обучение: учебный процесс поддерживает изменение организационного климата, инноваций и индивидуальное развитие

Уровень второй - Деятельность

Данная оценка включает в себя тестирование способностей обучаемого включать приобретенные в процессе обучения навыки в работу. Эта оценка может быть выполнена формально (тестирование) или неформально (наблюдение). Она определяется тем, как отвечают на вопрос: Используют ли работники вновь приобретенные навыки в процессе работы?

Очень важно измерять деятельность, поскольку базовая цель корпоративного обучения улучшать результаты через передачу работникам новых знаний и навыков с тем, чтобы затем они применяли их в работе. Измерение деятельности должно быть постольку, поскольку работники делают свою работу; в измерении должен принимать обычно тот специалист, кто тесно связан с обучаемым: супервайзер, тренированный наблюдатель или интервьюер.

Уровень третий – Обучение

Это показатель того, насколько глубоко обучаемые усваивают знания, развивают навыки и изменяют установки и отношение как результат участия в учебном процессе. Оценка обучения обычно требует пост тестирования с целью установить, какие навыки были усвоены обучаемыми в течение процесса, какими навыками обучаемые уже обладают.

Измерение выходов учебного процесса важно с точки зрения валидизации цели обучения. Измерение обучения обычно сфокусировано на следующих вопросах:

Какие знания были приобретены?

Какие навыки были развиты?

Какие установки были изменены?

Ассессмент обучаемых создается с целью убедиться в способности обучаемого выполнять деятельность. Есть два аспекта этого процесса: собственно сбор информации и данных (тестирование обучаемых) и оценка данной информации (о чем эти данные сообщают?). Данный ассессмент не следует путать с оценкой обучения (evaluation ). Ассессмент показывает прогресс и индивидуальные достижения обучаемых, в то время как Оценка обучения (evaluation ) в целом об оценке программ обучения (Tovey, 1997, p88).

Уровень четвертый – Мотивация

Оценка на этом уровне измеряет показатель, как обучаемые воспринимают и реагируют на процессы обучения и деятельности. Этот уровень измеряется с помощью опросника установок (attitude questionnaires – мотивационных опросников), предлагаемого после многих учебных занятий. Обучаемые чаще всего прекрасно осознают, что им необходимо, чтобы выполнить задание. Если учебный процесс не удовлетворил их потребности, то нужно определиться: или это ошибка педагогического проектировщика (специалиста, конструирующего учебный процесс в компании), или обучаемые не оценили преимуществ процесса.

Когда обучаемый приступает к изучению учебного материала, неважно, что это: eLearning, mLearning, аудиторные занятия или обучение через социальные медиа, он должен принять решение, на что, в первую очередь, он обращает внимание в этом материале. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка.

Критика

Есть три проблемных допущения модели Киркпатрика: 1) уровни не расположены в порядке возрастания (нет иерархии уровней); 2) уровни не связаны причинно между собой; 3) уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989).

Единственная часть четырехуровневой модели Киркпатрика, которая не выдержала проверку временем, - Обратная связь (первый уровень). К примеру, школа Тренер XXI века имеет одни из самых низких показателей по первому уровню – уровню обратной связи, но отвечает за высокие показатели деятельности (четвертый уровень), которыми измеряют продуктивность своих выпускников. И это не единичный случай: от исследования к исследованию результаты показывают очень низкую корреляцию между Обратной связью и тем, насколько хорошо работники выполняют деятельность после прохождения обучения (Boehle, 2006).

Гораздо важнее, чем измерение обратной связи, как мы установили, является подготовка обучаемых к учебному процессу через беседы с руководителем о необходимости участия в обучения с последующим их сопровождением с тем, чтобы убедиться в усвоении навыков, переданных в процессе обучения (Wick, et al. 2006), и это еще одна из причин, почему «Обратную связь» надо поменять на «Мотивацию».

Четырехуровневая модель Киркпатрика применяется только после окончания учебного процесса. В то время как цель оценки должна заключаться в сопровождении всего учебного процесса, начиная с начальной стадии – стадии, предваряющей учебный процесс.

На самом деле, эта критика не является точной. К примеру, The ASTD Training & Development Handbook (1996), изданная Robert Craig, включает главу Киркпатрика с простым названием «Оценка». В этой главе Киркпатрик обсуждает контрольные группы, а также методы «до и после» (такие как пре- и посттестирование). Он продолжает обсуждать, что четвертый уровень должен включать пост-тренинг оценку три или более месяца спустя после окончания учебного процесса с тем, чтобы проконтролировать, как обучаемые стали применять навыки, полученные в ходе обучения. Далее Киркпатрик замечает, что Оценка должна быть включена во все стадии учебного процесса не только в течение каждой сессии или модуля, но и после каждого предмета или темы.

Модель четырех уровней работает только для аудиторного обучения, но не для других форм обучения

Как было замечено в части «Не только для тренинга» (см. выше), Киркпатрик писал о возможности использования модели четырех уровней для других типов обучения и HR, которая помогает обеспечить обслуживание процессы и формального, и неформального обучения, и где модель Киркпатрика выступает одной из основных моделей оценки. И может быть, настоящей причиной того, что адвокаты неформального обучения не видят пользы от применения модели Киркпатрика в том, что четыре уровня «были изобретены не под них».

Четыре уровня оценки имеют малое отношение для других подразделений компании и направлений бизнеса

Одна из лучших книг по обучению и развитию The Six Disciplines of Breakthrough Learning , написанная Wick, Pollock, Jefferson, Flanagan (2006). Они, видимо, выдвигают самую обоснованную, критику, что я видел: «К сожалению, эта модель не имеет широкого распространения среди менеджеров бизнес направлений, кто непосредственно связан с результатами обучения. Поэтому, когда руководители департаментов обучения пишут или говорят в терминах уровней оценки модели Киркпатрика со своими коллегами в бизнесе, то это это вместо прояснения чаще запутывает обсуждение и требует дополнительных усилий для выстраивания понимания между бизнесом и функцией обучения».

И вполне возможно, что данная критика направлена по сути не против самой модели Киркпатрика , но против тех из нас, кто выстраивает коммуникации с бизнесом. Мы говорим бизнесу: первый уровень показывает, насколько счастливы обучаемые от обучения, на втором уровне они успешно прошли тест и т.д. по всей модели. Кроме того, согласно исследованиям, которые я видел, результаты обучения используются редко (как раз то, что ценится бизнесом больше всего). Все другие уровни оценки могут быть полезны только в процессе проектирования учебного процесса, поскольку они помогают нам понять, какой тип оценки применить в какой проблемной ситуации. Тем не менее, за этими рамками, эти уровни никому не интересны. Большая часть менеджмента интересует лишь влияние обучения и ответ на вопрос: те ресурсы, что мы потратили на обучение работников, дают вклад в развитие и процветание нашего бизнеса?

В 1954 году была создана одна из самых ныне известных моделей, подходящих как для оценки эффективности тренинга , так и для оценки эффективности процесса обучения вообще. Ее автором стал почетный профессор университета штата Висконсин (США) Дональд Киркпатрик . Он предложил разделять процесс обучения на четыре уровня, которые впоследствии и оценивать. Таким образом, по его мнению, можно будет обеспечить применение полученных в процессе обучения новых навыков непосредственно на рабочем месте и, следовательно, добиться максимальных показателей от данного обучения.

Рассмотрим, что же это за уровни, и что нуждается в оценке на каждом из них.

ПЕРВЫЙ УРОВЕНЬ — «РЕАКЦИЯ»

На данном этапе важно выяснить, как участвующие в обучении реагируют непосредственно на само обучение — нравится ли оно им, и для чего они будут использовать полученные навыки и знания.

Для оценки эффективности первого уровня могут быть использованы такие инструменты как листы реагирования (анкеты комментариев, листы улыбок, анкеты реакции), интервью, фокус-группы.

Листы реагирования

Главной задачей является составить их так, чтобы получить максимум полезной информации. Рекомендуется составлять от 8 до 15 вопросов для участников обучения, которые должны быть как открытые, так и со шкалами (например «пятибалльная шкала» или «десятибалльная шкала»), необходимыми для наиболее точной оценки мнений всех участников тренинга. Рядом с каждым вопросом нужно обязательно оставить место для комментариев. Целесообразно разместить в листах реагирования вопросы, позволяющие получить такую информацию, как: эффективен ли тренер и используемые им методы, соответствуют ли и насколько задачи курса целям деятельности, доступен ли был предоставленный материал, каким образом можно улучшить программу и т. д.

Желательно, чтобы анкеты были анонимными. Считается, что в таком случае ответы будут более откровенными.

Интервью

Интервью проводится после обучения с каждым из участников курса так же, как и в случае с анкетами, для получения обратной связи.

Фокус-группы

Фокус-группы могут быть использованы в случае проведения пилотных проектов. Первый раз мнения участников рекомендуется собирать через неделю после окончания проекта, второй раз — через 90 дней после проекта.

Результат оценивания первого уровня может быть выражен в ответах на такие вопросы:

• Для кого должен быть представлен данный тренинг?
• Какие методы будут более продуктивными?
• Когда должен проводиться тренинг?
• Что получил от тренинга его участник?
• Как он будет применять на своем рабочем месте полученные им навыки и знания?

Таким образом, как участники реагируют на курс, такова и есть его оценка. Реакция участников тренинга, по мнению Д. Киркпатрика, является достаточно важным критерием успешности и эффективности всего курса обучения.

ВТОРОЙ УРОВЕНЬ — «ОБУЧЕНИЕ»

Этот уровень предполагает оценку того, в какой мере усвоили участники новую информацию, сформировали ли они необходимые отношения, изменились ли и насколько их знания, установки под конец процесса обучения.

Для количественного измерения прогресса в обучении используются специально разработанные опросники, задания и тесты.

Инструментами, необходимыми для оценки второго уровня модели, являются: тест на знание изученного материала, лист проверки умений, составление плана действий, обучение других сотрудников.

Лист проверки умений

Лист проверки умений заполняет наблюдатель, который в ходе беседы с участником курса определяет его умения использовать полученные во время обучения навыки. В первой колонке листа выставляется оценка умения, во второй вносятся комментарии. Умения оцениваются следующим образом:

1 — неправильное использование умения;

2 — верное использование умения;

3 — экспертное использование умения.

Составление плана действий

Для составления плана действий участникам тренинга предлагается дать ответы на вопросы такого плана:

• Какие действия вы собираетесь производить?
• Что хотели бы научиться делать?
• Что может помешать вам в достижении успеха?
• Каким образом будете преодолевать возникшие помехи?
• Какая поддержка будет необходима для осуществления вами действий?
• Каких ожидаете результатов?

Еще один инструмент оценки — это обучение других сотрудников.

Его можно организовать в виде проведения различных презентаций для коллег из других подразделений, помощи в обучении и адаптации новых сотрудников, обучения группы в парах.

По мнению Д. Киркпатрика, если процесс обучения был эффективным, то должны произойти видимые изменения, т. е. улучшатся знания, усовершенствуются навыки и изменятся установки.

ТРЕТИЙ УРОВЕНЬ — «ПОВЕДЕНИЕ»

В данном случае нужно определить, изменилось ли в результате обучения поведение его участников, применяют ли они что-либо из полученных навыков и знаний на своем рабочем месте.

Инструменты оценки, использующиеся для третьего уровня следующие:

• контрольный лист поведения;
• обзор поведения;
• обзор работы сотрудников на рабочем месте;
• проверка планов действий;
• обучение действиям;
• фокус-группы.

В обзорном тесте можно использовать следующие вопросы: были ли получены новые знания; насколько улучшилось в результате обучения поведение на работе; через сколько смогли применять обучение в своей работе; если же до сих пор не получилось, то почему и т. д.

Д. Киркпатрик обращает внимание, что если изменения в поведении участников после обучения не произошли, то это абсолютно не означает, что тренинг был не эффективен. Бывают такие случаи, когда не были созданы необходимые условия, и, следовательно, даже при позитивной реакции на тренинг поведение участников не изменилось. Поэтому при оценивании очень важно проверять наличие следующих условий:

• есть ли желание у участников изменить свое поведение;
• понимают ли участники, что и как нужно делать;
• создан ли соответствующий социально-психологический климат на рабочем месте;
• присутствует ли поощрение участников тренинга за изменение их поведения.

ЧЕТВЕРТЫЙ УРОВЕНЬ — «РЕЗУЛЬТАТЫ»

Оценка того, в какой степени были достигнуты намеченные заранее результаты, и есть основная цель данного уровня, т.е. это оценка экономической эффективности обучения . Также важно отметить, принесли ли какое-либо положительное влияние на саму организацию изменения в поведении участников обучения.

Оценить четвертый уровень модели достаточно непросто, так как тут нужно определить, как изменились бизнес-показатели организации. Т. е. нужно правильно выбрать показатели , которые будут измеряться как до, так и после проведения обучения.

Д. Киркпатрик отмечает, что к результатам будут относиться изменения, произошедшие в связи с прохождением обучения участниками (например, увеличение продаж, улучшение качества, увеличение производительности и т. д.).

Проведение оценки необходимо осуществлять до, во время и после процесса обучения, а также через некоторое время, когда результаты станут более заметными.

В 1970 годы модель оценки эффективности обучения Д. Киркпатрика была уже достаточно известна и принята в качестве стандарта для проведения оценки непосредственно профессионального обучения.

Долгие годы автор модели проводил различные исследования, разрабатывая новые инструменты и оценочные методы, которые относились в основном к 1 и 2 уровням. И только в 2005 году им был предложен инструментарий, необходимый для оценки 3 уровня модели. Задача обеспечения наиболее эффективного применения полученных за счет обучения знаний и навыков в реальной деятельности до сих пор достаточно актуальна для различных обучающих организаций.

В 2006 году Киркпатрик выпустил уже третье издание своей книги «Оценка тренинговых программ», в которой основное внимание уделено 4 уровню модели, а также значительно расширена сфера применения непосредственно самой модели. Автор предложил использовать свою модель не только для оценки эффективности программ обучения, но и для процесса, связанного с управлением изменениями, а также для того, чтобы можно было продемонстрировать ценность обучения бизнесу.

Алгоритм работы с самой моделью тоже поменялся. В книге Д. Киркпатрика предлагается проводить оценку, начиная с 4 уровня и заканчивая 1. Так, по его мнению, специалисты, отвечающие за обучение, будут уделять должное внимание не только самому процессу обучения, но и поддержке нужного поведения, достижению запланированных бизнес-результатов.

По мнению авторов, для того, чтобы получить гарантированные результаты, прежде чем начинать обучение, нужно определить ожидаемые результаты, ключевые показатели и методы, с помощью которых будет осуществляться измерение и оценка.

ПЯТЫЙ УРОВЕНЬ — ROI

Также известен 5 уровень модели , разработанный Джеком Филипсом , благодаря которому должно стать ясно, стоило ли вкладывать деньги в обучение. Его показатель — ROI («возврат на инвестиции») позволяет перевести результаты оценки четвертого уровня в материальный эквивалент, далее полученная сумма прибыли сравнивается с затратами на курс обучения. Коэффициент ROI показывает процентное соотношение прибыли от курса обучения к сумме затрат на него.

Таким образом, модель Джека Филипса предоставляет возможность оправдать затраты на обучение, провести оценку курса обучения как бизнес-инструмента и показывает прямую зависимость увеличения продуктивности компании от обучения ее сотрудников, т.е. сделать обучение экономически эффективным .

Несмотря на то, что модели Дональда Киркпатрика уже более 50 лет, еще достаточно многие менеджеры и специалисты по обучению считают, что учащийся, когда-либо получивший какие-либо знания, уже является экспертом и может легко их применять. Но, как показывают практика и результаты оценки эффективности обучения по модели Д. Киркпатрика, это далеко не так. Использование данной модели позволит совершенствовать в дальнейшем учебные программы, а также повысить эффективность подготовки сотрудников.

Статья является собственностью профессионального портала для тренеров . При перепечатывании статьи ссылка на сайт обязательна.

Рекомендуем уникальные тренерские методички лучших упражнений для тренингов:

• Разминка "Воробьи-вороны"

  Энергичное игровое упражнение, способное в короткие сроки включить участников тренинга в рабочий процесс, повысить их внимание, энергетику и вовлеченность. Создает позитивную атмосферу и, в случае необходимости, снимает напряжение в группе. Включает физическую и эмоциональную активность участников. Кроме функций разогрева группы это упражнение способствует формированию у участников тренинга позитивного и конструктивного отношения к своему проигрышу или неудаче . Помогает понять, что независимо от результатов своих усилий, можно просто получать удовольствие от игры. Этот принцип можно отнести ко всему в жизни и тем самым легче переносить неудачи и трудности.

  Упражнение «Воробьи-вороны» не смотря на то, что было придумано много лет назад, остается эффективным и востребованным упражнением-разогревом у многих тренеров и по сей день. Причем подходит оно как для тренингов личностного роста, так и для бизнес-тренингов по продажам, переговорам, лидерству.

• Упражнение для тренинга переговоров "Шишки"

  Сильное и запоминающееся упражнение-вызов, мощным и наглядным образом показывающее участникам, что успешность переговоров зависит от их умения слушать, выяснять интересы партнера и находить общее решение.

  По своей легенде упражнение похоже на хороший экономический детектив, что сразу вовлекает участников тренинга, поднимает их уровень заинтересованности и мотивацию на дальнейшее обучение. Упражнение «Шишки» гарантированно «цепляет» участников и обычно запоминается как одно из самых ярких упражнений тренинга.

  Упражнение идеально подходит для тренингов продаж и переговоров, как открытых, так и корпоративных.

• Ролевая игра "Случай в гостинице"

  Яркое и запоминающееся упражнение , которое наглядно демонстрирует участникам тренинга слабые места в умении вести переговоры или устанавливать контакт в продажах, а также показывает, какие техники и приемы приводят к успеху в продажах и переговорах, а какие — наоборот. Какие — позволяют быстро установить контакт, а какие скорее накаляют обстановку.

  Упражнение «Случай в гостинице» прекрасно подойдет для тренингов продаж, тренингов переговоров, тренингов уверенного поведения, тренингов влияния.

  Благодаря необычной легенде упражнение «Случай в гостинице» повышает уровень вовлеченности участников тренинга, энергетику группы, мотивацию на дальнейшее обучение .