Игра стоит свеч. Как оценить эффективность бизнес-тренинга? Макота Елена

Четыре уровня оценки эффективности тренинга

Самый верный способ успеть как можно больше – рвануть с места в карьер. Время – деньги! Если вы еще не поняли, моя задача – сэкономить для вас как можно большее их количество. Поэтому приступаем к работе немедленно!

Совершенно очевидно, что вы всегда можете измерить тот или иной показатель несколькими способами. Но есть ли среди них тот самый, эталонный? Тот, который гарантирует вам наибольшую точность?

Вовсе нет – такой гарантии вам не может дать никто. Особенно это становится явным, когда речь заходит о неточных величинах: вы сможете вычислить их лишь приблизительно. Попробуйте убедить себя, что в стограммовом куске сыра из магазина именно 28 граммов белка и ни граммом меньше. Вы действительно в это верите?

Но – даже с поправкой на неточности и погрешности – в основе каждой системы оценки все равно лежит некая классическая методология или теория, признанная большинством специалистов в той или иной области.

Теория системообразующая. Фундаментальная. Выверенная. Та самая, которая позволяет с большой долей уверенности говорить об истинности полученных с ее помощью показателей. И, представьте себе – такая модель существует и для оценки эффективности тренингов! Более того, в этой книге мы разберем ее наиподробнейшим образом. Но ответит ли она на все наши вопросы?

Для начала зайдем в гости к классикам. Как Филипп Котлер стал иконой для маркетинга, так и Дональд Киркпатрик удостоился аналогичного статуса в американском кадровом менеджменте. Его четырехуровневая модель оценки эффективности тренинга увидела свет в 1959 году – уже в те времена американцы подходили к лозунгу «кадры решают все» более щепетильно, чем плановики Советского Союза. Чертовски дальновидно!

Оглянитесь – и поймете, что истинные знания не поддаются времени. Прошло больше 50 лет, бал правят транснациональные корпорации, фрилансеры все чаще и эффективнее заменяют наемных работников, а модель Киркпатрика до сих пор остается одной из базовых при оценке эффективности тренингов для персонала. В чем соль?

Никакого секрета здесь нет, зато есть грамотная группировка информации. По сути, в своей модели Кирк-патрик упорядочил и разделил всю сумму эффектов проведенного тренинга на четыре отдельных уровня. Оценки каждого из них, сложенные воедино, и дают нам информацию о необходимости и эффективности проведенного обучения.

Как я уже упоминала ранее, эта модель имеет четыре уровня. Вот они:

Уровень 1: «Реакция». Главный вопрос: «Какова реакция сотрудника на обучение»?

Уровень 2: «Обучение». Главный вопрос: «Что именно сотрудник усвоил в процессе проведения тренинга»?

Уровень 3: «Поведение». Анализируется то, как полученные на тренинге навыки и знания применяются в работе. После этого вы сможете дать ответ на главный вопрос этого уровня: «Как изменилось профессиональное поведение обучавшихся»?

Уровень 4: «Результаты». Оцениваются непосредственно показатели эффективности компании – насколько они изменились после обучения персонала? Главный вопрос: «Что получила компания от проведенного тренинга»? [4]

Однако упомянутыми четырьмя уровнями исследование вопроса не ограничилось. В 1991 году модель Кирк-патрика была дополнена Джеком Филипсом, который включил в нее пятый, заключительный уровень – «отдачу на инвестиции» (ROI).

Это была осознанная попытка перевести измерение эффективности тренинга в материальную плоскость. Удалось ли это Филипсу или нет, мы выясним чуть позже. А пока вновь обратимся к классике, которая, оказывается, далеко не безгрешна.

Да-да! Оказывается, у модели Киркпатрика есть свой серьезный недостаток – она оценивает эффективность тренинга уже после его проведения. Причем не сразу: сбор данных на всех четырех уровнях может растянуться на несколько месяцев. Есть ли у вас и вашего бизнеса время ждать?

Многие руководители отвечают на этот вопрос отрицательно, предпочитая ограничиваться оценкой лишь на первом уровне – это позволяет сэкономить временные и финансовые затраты. Но будет ли такая оценка объективной, покажет ли она конкретные результаты обучения, даст ли необходимую информацию для управленцев? Разумеется, нет – и доказательства тому вы будете получать на всем протяжении этой книги.

Возврат на инвестиции (ROI)

Давайте вернемся к пятому уровню модели Киркпатрика – тому самому, который увидел свет в 90х благодаря Джеку Филипсу. Именно он, согласно мысли автора, и должен был давать ответ на вопрос вопросов – оправдал ли тренинг вложенные в него средства? Мы тоже хотим знать на него ответ!

Если вы когда-либо имели дело с оценкой эффективности работы компании, то наверняка сталкивались с показателем ROI (Return on Investments – «возврат на инвестиции»). Он возникает на нашем пути и здесь – в качестве показателя результатов работы фирмы после проведения тренинга.

Это чисто экономический показатель, а это значит, что человек, проводящий подобный анализ, должен владеть методиками оценки затрат и прибыли фирмы. Впрочем, все не так уж и страшно – в главе, посвященной этому вопросу, я продемонстрирую, как нужно рассчитывать ROI.

Похоже, наша головоломка наконец начала складываться. Дополненная пятым уровнем, модель Киркпатрика отвечает всем требованиям директоров, топ-менеджмента и акционеров любой компании. Но и здесь возникает проблема – иначе все было бы слишком легко.

Если вы думаете, что наконец-то нашли универсальный инструмент оценки эффективности, то ошибаетесь: многие тренинги, которые несут в себе реальную пользу для сотрудников, не проходят испытание ROI. Вот вам еще один парадокс – не все, что полезно, приносит отдачу в денежном эквиваленте! Да и проблема рисков и времени никуда не исчезает – для того, чтобы оценить эффективность тренинга, его сначала необходимо все-таки провести.

Впрочем – даже с учетом недостатков – теперь перед нами некая общая сложившаяся концепция: сведенные воедино пять уровней оценки эффективности, каждый из которых обладает своими уникальными свойствами и требует разного подхода. Какого именно и с помощью каких инструментов? Приступим к рассмотрению прямо сейчас!

Главный вопрос уровня: «Как сами участники оценивают тренинг»?

Перед нами первый уровень – и, в большинстве случаев, последний – по которому проводится измерение эффективности тренингов в российских компаниях. Это самый дешевый и быстрый способ получить информацию о потенциальной ценности тренинга. Но удастся ли получить действительно необходимые данные? Все зависит от того, какими инструментами пользоваться.

Несмотря на то, что мнения и оценки участников, которые фиксируются на этом уровне, чудовищно субъективны, пищу для размышлений они дать способны. При этом вы можете оценивать как тренинг в целом, так и его отдельные блоки – это позволит дать исчерпывающую характеристику проведенному обучению. Информации ведь никогда не бывает много, не так ли?

Собственно, на данном этапе все довольно просто: реакция оценивается на основании того, понравился ли слушателям тренинг. Причем положительный характер оценки нас не особенно интересует – далеко не всегда «понравившийся» означает «эффективный». Слушая в исполнении тренера анекдоты, люди не извлекут из них никакой пользы. Но палка, как всегда, о двух концах! Ведь с другой стороны, позитив, расположенность и положительные эмоции значат очень многое – для успешного обучения они просто необходимы. Иначе может возникнуть внутреннее сопротивление, и тренинг – вне зависимости от ценности его содержания – пройдет впустую.

Первое, что бросается в глаза на первом уровне оценки – необъективность суждений, а, следовательно, невысокая степень их достоверности. Вы должны поднять эту величину как можно выше! Для этого необходимо использовать приемы и инструменты получения информации, которые:

А Предоставляют слушателям тренинга свободу высказывания. Дайте людям высказать все, что они думают – узнаете много интересного.

Б Не слишком подробны (иначе у опрашиваемых исчезнет желание делиться своими оценками и впечатлениями). Допросы ни к чему хорошему не приведут!

В Дают наиболее ценную информацию для анализа [3].

Какие инструменты сбора информации могут соответствовать данным требованиям? Велосипед изобретать не надо – как говорится, все уже придумано до нас. Сейчас мы поговорим о хорошо известном инструменте, который нужно лишь максимально полно адаптировать под каждую конкретную ситуацию и компанию.

Анкетирование

Как известно, все гениальное – просто. Следовательно, самый лучший способ узнать нужную информацию – это задать вопрос. Анкетирование подходит для этого нехитрого приема лучше всего. Оно стало широко популярным из-за быстроты и дешевизны: подготовить и распечатать анкету можно в течение 5–10 минут и никаких дополнительных расходов! Главное – правильно сформулировать вопросы, и тогда анкета станет эффективным добытчиком нужной информации.

Еще один плюс анкетирования заключается в том, что анкету или опросный лист очень легко заполнять. Это существенно облегчает жизнь как участникам, так и организаторам тренинга.

Основные темы вопросов в анкете, которая должна быть предложена аудитории, достаточно очевидны. Формулируйте их таким образом, чтобы была возможность получения однозначной, наиболее объективной информации. Вот несколько тем, в рамках которых можно поработать:

• реальная полезность полученных навыков и знаний для повседневной работы;

• насколько интересна программа тренинга;

• оценка содержания тренинговой программы;

• сложно или доступно был подан материал и т. д.

Участники тренинга заполняют заранее подготовленную оценочную анкету, содержащую стандартный набор вопросов. После этого руководители фирмы и сам тренер смогут сразу оценить организацию тренинга, интерес аудитории, качество и доступность информации для понимания, пользу для ежедневной работы сотрудников и т. д.

Вы занимаетесь бизнесом? Отлично. Тогда вы, как никто другой, должны понимать – грамотно сформулированные вопросы стоят очень дорого. Я права? Аналогично и в нашем случае – вопросы в анкете должны быть составлены предельно четко: не позволяйте людям отвечать двояко! Как это сделать? Вот несколько примеров:

Вопрос 1: Какая часть тренинга была самой полезной для вашей работы?

Вопрос 2: Какая часть тренинга была наименее полезной для вашей работы?

Вопрос 3: Какие темы вы хотели бы включить в программу тренинга?

Вопрос 4: Какую часть тренинга стоит заменить интересующей вас темой?

Вопрос 5: Есть ли баланс в программе тренинга (между играми, лекциями, кейсами и т. д.)?

Вопрос 6: Хватает ли времени на деловые игры и обсуждение? [5]

Проводя анкетирование, вы должны понимать – с его помощью вы можете анализировать буквально все нюансы прошедшего обучения. Обязательно включите в анкету вопросы, которые оценивают качество проведения тренинга. Предлагаю вам использовать следующие темы:

• продолжительность тренинга;

• количество перерывов;

• общая организация;

• степень достижения поставленных целей и т. д.

Соответственно, вопросы для этого раздела должны быть уже несколько другой направлености, чем те, которые вы задавали в предыдущем. Давайте попробуем сформулировать их примерные варианты:

Вопрос 1: В какой степени вы достигли своих личных целей в результате тренинга?

Вопрос 2: Все ли цели были достигнуты? Если не все, то почему? Какова причина?

Вопрос 3: Достаточно ли в ходе тренинга было сделано перерывов для отдыха в процессе обучения?

Вопрос 4: В какой степени были достигнуты поставленные цели тренинга?

Следующий раздел анкеты оценивает квалификацию и навыки тренера. Помните, что тренер тоже отвечает перед аудиторией, и за ним постоянно следит всевидящее око – его наниматели. Навык презентации, налаживание обратной связи, стиль ведения – все это часть Большой Работы тренера. Настоящий профессионал должен соответствовать самой высокой оценке! Примерный перечень тем для этого раздела выглядит так:

• глубина знаний в предметной области;

• степень подготовленности к тренингу;

• стиль проведения тренинга;

• отзывчивость, внимание к аудитории, обратная связь;

• создание благоприятного микроклимата внутри аудитории и т. д.

Заключительный раздел анкеты – вопросы к аудитории по поводу уровня организации тренинга. Все мелочи и пустяки, от которых болит голова у организаторов – важнейшая сторона, прямо влияющая на оценки слушателей.

Примерный перечень вопросов, входящих в этот радел, таков:

Вопрос 1: Оцените количество выданных раздаточных материалов.

Вопрос 2: Оцените количество презентационных материалов (видео, аудио, слайды, флипчарт).

Вопрос 3: Оцените качество презентационных материалов (видео, аудио, слайды, флипчарт).

Вопрос 4: Оцените удобство размещения участников.

Вопрос 5: Оцените помещение, в котором проходит тренинг.

Вопрос 6: Оцените качество сервиса (питание, кофе-брейки) [5].

Тонкость заключается в том, что вопросы этого раздела не имеют однозначного ответа. Что будем делать? Просто введем количественную оценку – например, от 1 до 5 баллов. Желательно, чтобы каждый балл сопровождался комментариями или пометками – нам необходимо выяснить не общее мнение аудитории, а конкретные параметры тренинга, выраженные в оценках.

Сбор анкет – отдельная тема для разговора. Вы можете выбрать срок их заполнения и сдачи в зависимости от степени контроля, который вы хотите осуществлять. Кто именно осуществляет сбор – неважно: сам тренер, сотрудник компании или заполненные анкеты отсылаются на почту руководителя в электронном виде. Это частности. Главное – выбрать оптимальный контрольный период, и вся информация будет у вас как на ладони!

Объявлять и собирать анкеты можно:

• в рамках «летучего контроля», т. е. по окончании каждого блока тренинга или каждого дня обучения. Главный плюс – возможность тонко настроить программу тренинга на каждую отдельную группу участников. У вас в руках инструмент, с помощью которого можно «на ходу» оценивать эффективность применяемых методов, упражнений, соответствие тренинга заданным целям и т. д. Пользуйтесь им с умом!

• сразу после окончания тренинга. Считается, что участники уже составили целостную картину представления о нем – с точки зрения полезности, уровня организации и качества проведения. По сравнению с первым, этот метод не настолько гибок: все выводы делаются только после того, как тренинг уже пройден.

• спустя несколько дней после окончания обучения. В этом случае упор делается на практическое применение знаний: сотрудники уже могут оценить, полезными ли оказались приобретенные навыки в повседневной работе, способны поделиться информацией с вами.

Уверена, что у вас уже сформировалось некое представление о содержании анкеты – а теперь предлагаю воплотить его визуально. Оцените и сравните один из вариантов анкеты с картиной, сложившейся в вашем сознании. Обращаю ваше внимание на то, что для каждого отдельного клиента анкета разрабатывается индивидуально.

Уважаемые участники тренинга!

Заполните, пожалуйста, анкету по итогам прошедшего тренинга. Будем благодарны за искренние и честные ответы, которые помогут нам в дальнейшей работе. Заранее спасибо.

Общее впечатление о тренинге:

____________________________________________________________

____________________________________________________________

____________________________________________________________

Оцените, пожалуйста, (5 баллов – высшая оценка), в какой мере прошедший бизнес-тренинг был:

• интересен –

• полезен –

• ответил на Ваши вопросы –

• применим в практике Вашей работы –

• мог бы быть дополнен следующим

____________________________________________________________

____________________________________________________________

____________________________________________________________

Оцените, пожалуйста, различные стороны бизнес-тренинга (5 баллов – высшая оценка)

• Содержание тренинга –

• Квалификация тренера –

• Форма проведения –

Удовлетворены ли Вы своей работой на тренинге? (Нужное подчеркнуть)

«Да» «Скорее да» «Трудно сказать» «Скорее нет» «Нет»

Что в тренинге Вам понравилось?

____________________________________________________________

____________________________________________________________

____________________________________________________________

Что в работе тренинга Вас не устроило/не понравилось? ________________________________________

____________________________________________________________

____________________________________________________________

Каким темам нужно было уделить больше времени и внимания? __________________________________

____________________________________________________________

____________________________________________________________

Ваша оценка проведенному тренингу:

• отлично

• хорошо

• удовлетворительно

• неудовлетворительно Ваши предложения: _________________

______________________________________

______________________________________

План «Б» или альтернативные методы получения информации о тренинге

Мы рассмотрели анкетирование – самый распространенный прием получения необходимой информации. Но и ему можно подобрать достойную замену: более того, результаты могут и превзойти ваши ожидания! Если по тем или иным причинам вам не удается сформулировать грамотные вопросы для анкеты – в конце концов, лень бывает даже думать – попробуйте использовать следующие инструменты.

Старый добрый дневник – то, что нужно для сбора мнений о тренинге! Установите правило: участники должны вести его в свободной форме, а в конце рабочего дня там должны быть отмечены знания и навыки, которые были применены в работе, и что из этого получилось. Если свободное изъявление мыслей вызывает у сотрудников ступор, предложите им некую структуру такой записи, то есть, что именно должно быть отражено в дневнике. Пример структуры может быть следующим:

Структура ежедневной записи в дневнике наблюдения

Дата

1. Какие навыки и умения, полученные на тренинге, я применял в течение сегодняшнего рабочего дня?

2. Что у меня получилось? Какие результаты я увидел?

3. Что у меня не получилось? Почему?

4. Какие техники, полученные на тренинге, мне больше всего понравилось сегодня использовать на рабочем месте? Почему?

5. Какие техники (инструменты), полученные на тренинге, я посчитал сегодня неэффективными (они меня разочаровали). Почему?

Вспомните чудесные школьные годы и домашние задания по написанию сочинений. Наверняка они нравились вам больше, чем игра в футбол? Будем надеяться на то, что участники тренинга такого же мнения. Темы их эссе могут быть следующими – «что понравилось или не понравилось на тренинге», «был ли эффективен для меня данный тренинг» и т. д.

Наверняка вы видели это в американских фильмах: все садятся в кружок и рассказывают о своих проблемах. Старый психологический прием работает безотказно – в свободной форме людям проще делиться мнениями и впечатлениями.

Но есть и проблема – если в компании культура открытого обмена отсутствует в принципе, то рассчитывать на правдивость отзывов, по меньшей мере, наивно. Ну и оценивать обратную связь должен уже HR-менеджер либо руководитель компании или подразделения – тренер уже не имеет к этому никакого отношения.

Кстати, вот и отличная тема для лирического отступления. В моей практике было немало случаев, подтверждающих огромное влияние корпоративной культуры на мнение участников о тренинге.

Одна из крупных компаний заключила со мной контракт на полугодовое обучение своих менеджеров.

Конечно, боссы не могли пустить этот процесс на самотек: после каждого занятия руководитель узнавал мнение аудитории своих подчиненных. Если слушатели говорили, что занятия им понравились, начальник перебивал их и говорил: «мне неинтересно знать об этом. Говорите о том, что было плохого в обучении». Казалось бы, что в этом необычного? Придирчивые начальники – далеко не редкость. В конце концов, может же человек искать «узкие» места, чтобы улучшить в дальнейшем работу сотрудников?

Может быть и так, но с этого момента я стала замечать, что настрой аудитории резко изменился. Оказывается, люди стали намеренно искать то, что им не нравится – ничего не поделаешь, отчитываться перед начальством ведь нужно!

В данном конкретном случае руководитель оказал огромное влияние на настроение аудитории к обучению, внеся серьезный негатив. Но точно также «зацикливание» аудитории на какой-либо одной – пусть и положительной – стороне тренинга не ведет ни к чему хорошему. Именно поэтому обратная связь должна быть разносторонней.

Вы можете «внедрить» в аудиторию стороннего эксперта для того, чтобы он представил вам свои собственные выводы.

Последний метод несет в себе серьезный риск: эксперт может высоко оценить тренинг, выдав заключение о его полезности, и о том, что после его окончания ваши сотрудники разовьют в себе необходимые навыки. Но никто не задумывается о том, что специалист со стороны может элементарно не знать всей информации о сотрудниках и компании. К примеру, то, что на тренинг были собраны работники, которые не смогут применить полученные знания на практике – хотя бы потому, что они не касаются данных вопросов в своей повседневной деятельности. Или он может не знать о том, что существующие в компании бизнес-процессы помешают сотрудникам повысить их результативность за счет полученных на тренинге умений и навыков.