分享

培训评估五级评估六类指标

 馮波 2011-09-30

ZZHRmary”的帖子《公司的培训效果评估是怎么做的呢?》中,我很简单地说到了:“一般都是采用Kirkpatrick的四层次理论、Phillips的五级六指标和Swanson & Holton的结果评价体系,对反应层、学习层、行为层、结果层进行评估的。”后,“jinchengsdu”提及:“能不能来个具体的案例 大家讨论一下了?”看到这个问题,想了一下,培训评估还真不是一个案例就能说明的。楼主有关培训开发的第一帖,从Phillips的“五级六指标”模型开始。嘿嘿!

先简单说一下,培训开发的流程一般是:对培训进行需求分析(确定需求优先级)→进行培训项目设计(设定目标、课程开发、资料获取、选择培训师、选择培训技术、培训计划日程)→培训项目实施→效果评估(确定评估标准、设计评估方案、实施评估、结果分析与反馈)。从这个流程上,大家都看到培训评估是流程的最后一步,导致很多人很容易把这一步看作是培训完成后才需要做的事情。这样的理解是不对的。

需求分析:指明了“为啥做”和“做啥”的方向;

设计与实施:解决了“做到啥程度”和“怎么做”的过程;

培训评估:回答的是“做得怎样”的问题,也就是对当初为啥搞培训的出发点和初衷进行验证,对培训实施的过程进行跟踪,对培训后产生的成果进行衡量测量。

所以,培训效果评估是贯穿于整个培训的循环中的,而不是等到培训搞完了才来评估。

一、Phillips的“五级评估六类指标”模型

评估级别及相关数据的种类

 

数据的重点

 

数据用途概述

 

第一级:反应和/或满意度,以及所计划的行动

 

培训项目、培训人员和评选结果可能将如何得到应用

 

1.衡量相关人员对培训项目的主观看法,主要是学员对培训项目和对培训人员的反应和满意度
2.它也许还可以衡量另一个维度:学员参加培训后所指的的行动计划,即学员如何实施新的要求、项目或流程,或他们将如何运用新知识和新技能
3.有关反应的信息可用来改善培训的内容、设计和实施流程
4.制订行动计划的过程有助于促成培训成果向工作环境的转移
5.有关行动计划的信息可以用来决定将来评估的重点,并用来对比实际结果和当初的计划

 

第二级:学习结果

 

重点在学员及有利于学习的支持性机制

 

1.衡量学员在多大程度上掌握了培训中的内容:所期望的态度、知识、技术、流程等
2.对学习的衡量要比获得反应的信息难,要采用客观的衡量方法,衡量指标要能够量化
3.衡量获得的信息用来判断学员对学习内容的理解和吸收程度
4.衡量获得的信息还可以用来改进培训项目的内容设计和实施流程

 

第三级:工作中的应用和/或实施

 

重点在学员、工作环境和有助于学习内容得以应用的支持性机制

 

1.衡量学员在工作中行为的变化,包括培训中所学知识和技术在实际工作中的应用
2.评估信息可以提供有关培训内容在工作环境中是否得到应用以及使用的频率和效果
3.探寻培训内容有效的条件;若有效,如何在其他环境条件下重复应用
4.探寻阻碍培训内容应用有效性的原因,以便能够有针对性地对培训项目加以改进,或者促进其他培训项目的发起和实施

 

第四级:对业务的影响

 

重点在培训对组织绩效所产生的影响

 

1.评估目的在于确定培训对于改进组织绩效所产生的影响或效果,并于组织的期望值进行对比
2.评估产生的主观数据包括顾客的满意度增加、员工的敬业度提高、顾客的保留率提高、对顾客反应时间缩短等
3.评估产生的客观数据包括成本的节省、产出的增加、时间的节省或质量的改进等
4.获得业务影响效果信息的方式有:培训前后分别收集数据,对通过培训引起的业务绩效的改进情况(或没有改进)进行分析,将培训的结果和适当的业务指标联系起来

 

第五级:投资回报率(ROI)

 

重点在于培训所产生的用货币形式来体现的收益

 

1.本级评估关注的是相对于培训成本,培训产生的业务效果所带来的用货币形式体现的价值,并进一步计算ROI
2.ROI可以用投资回报的价值或成本收益的比例(%)来表示
3.ROI衡量了培训项目对实现组织目标的贡献大小,显示了培训项目的真正价值
4.由培训产生的业务指标的改进所带来的ROI不一定都是正值

 

无形收益

 

重点在于用非货币形式体现的因素来衡量培训的价值

 

1.无形收益数据是指不能或不应该转换成货币价值的数据
2.无形收益数据与数据的重要性无关,它所指的是数据缺少客观性和无法转化成用货币形式来体现价值;或者有时将某些数据转化成货币形式来体现价值的代价太高昂
3.无形数据常常是培训所产生的正面影响的体现,但又无法用货币形式来衡量其价值的大小
4.在培训所产生的业务效果无法用货币形式来衡量时,它就无法与培训成本相比较,也就无法确定其ROI,因此,无形收益必须以非货币形式另列一类
5.有时管理层和利益相关者满足于无形收益的数据
6.培训对业务效果所产生影响的主观数据一般属于无形收益,如顾客满意度、员工敬业度、客户保留率、员工保留率等
7.培训对业务流程中所产生的影响的主观数据也属于无形收益,如组织承诺的增加、团队合作的改进、客户服务的改善、冲突的减少、压力的减轻等

 

Phillips对培训效果评估的贡献是:

1.Kirkpatrick的四层次理论基础上将第四层次进一步量化形成了第五个层次(第五级)的评估概念ROI,将培训的结果转变成货币价值。

2.创建了无形收益作为第六类指标,使定性化的主观信息成为评估的必要组成部分。

3.明确提出了在制订效果评估策略时,应首先确定评估的级别(层次),并据此收集相关的数据资讯,包括“硬数据”和“软数据”。

4.培训评估并不一定需要覆盖全部的级别,应根据评估目的的进行部分或全部评估。

5.设计了效果评估的“十步骤”来指导评估活动的具体实施如图:


下面部分就是以“十步骤”来说明这“五级六指标法”

二、Phillips的“五级评估六类指标”模型具体应用

1、设定培训目标,确定效果评估的基础

1)以结果为导向确定培训评估的框架

确定以结果为导向的效果评估框架是“五级六指标”流程的第一步,目的在于确定培训项目的效果领域和具体业务指标,并网每一项指标设定目标期望值,使培训目标与组织目标高度契合。以结果为导向的评估框架,揭示了效果评估贯穿于整个培训过程的作用点(如图):


阶段A:对组织、任务和个人层次上的培训需求加以确认,更重要的是对每一需求是否满足的评价进行分级,根据培训需求的层次决定相应的效果评估等级,制定评估策略和计划。

阶段B:从培训方案设计开始到实施培训方案,在此过程中要进行一级(满意度/反应,行动计划)和二级(学习结果)评估,并且根据评估策略和计划收集相应的数据以供更高级别评估之用。

阶段C:对项目的跟踪评估。在设定的时间周期内进行三级(应用/实施)、四级(业务影响)、五级(投资回报率)和/或无形收益的评估。

2)制定每一级培训效果评估的目标

总体目标的制定上有ASTD法、人力资源指标法等,这里不详细说了,详细说说培训项目具体目标的制定:采用Phillips的“五级评估六类指标”设定培训项目的目标,如下工作表:

评估目标的级别

 

目标的关注点

 

一级:对培训的反应/满意度

 

规定培训实施后,学员对培训的满意度和反应的程度

 

二级:学习结果

 

规定学员应该从培训中获得的知识和所需技能的提高程度

 

三级:培训的应用/实施

 

规定培训结束后,学到的知识和技能被应用到工作环境中时,必须实现怎样的行为变化

 

四级:培训对业务的影响

 

规定培训结束后,业务指标将发生怎样的变化和改善

 

五级:培训的投资回报率

 

规定比较成本和收益,实施培训项目所带来的投资回报率

 

无形收益

 

规定无法转化成货币价值的四级指标作为无形收益

 

1.反应/满意度目标的制定

作为最为基础的目标,一级培训目标反映了学员对项目的喜欢程度,体现了是否在培训中建立双赢关系,这对取得更高级培训效果至关重要。因此,学员对培训活动的反应应该是正面的,至少也不应该是负面的。

2.学习目标的制定

学习目标既能够帮助学员明确学习的内容和成绩要求,又为评估学习效果设定了标准,以下内容可作为设定学习目标时参考:

目的:衡量知识和技能的掌握程度

 

最好的学习目标:

1.描述可观察到的和可衡量的行为

2.以结果为导向,描述清楚、具体

3.具体说明学员在培训之后的应知应会应做

4.包含三个元素:

行为在培训结束时,学员将能够做什么

条件在什么情况下学员才能完成任务

标准有效地完成认为必须要达到的程度或水平

三种类型的学习目标:

1.认知熟悉术语、概念和流程

2.知识对概念和流程的理解

3.行为技能的展现水平(至少具备基本水平)

举例:

1.能够辨别和理解6个领导力模型和理论

2.在给定的19个客户访问场景中,以100%的正确率来启动客户拜访程序(应用正确的步骤)

 

3.应用/实施目标的制定

这目标是学习目标的延伸,反映的是从培训中学到的知识和技能在实际工作中的应用,同时为评估员工在工作中的行为变化和绩效改变提供了标准。以下内容可以供设定这个目标使参考:

目的:衡量知识和技能在工作中的应用程度

 

最好的应用/实施目标:

1.描述可观察到的和可衡量的行为

2.以结果为导向,描述清楚、具体

3. 具体说明学员在培训之后应该做出哪些改变(行为和绩效)

4.包含三个元素:

行为在培训结束后的一个具体跟踪时间周期内,学员产生了哪些改变,或取得了哪些成绩

条件在什么情况下学员才能完成任务

标准有效地完成认为必须要达到的程度或水平

两种类型的应用/实施目标:

1.基于知识层面的目标:对概念、流程的一般理解

2.基于行为层面的目标:技能的展现水平(至少具备基本水平)

需要回答的主要问题:

1.在工作中将应用什么样的新知识

2.应用技能的频率是怎样的

3.将完成什么样的新任务

4.将采取什么样的新措施

5.将采取什么样的新行动

6.将实施什么样的新程序

7.将实施什么样的新方针

8.将实施什么样的新流程

举例:

1.在每个客户访问的场景中,应用开启拜访的正确步骤

2.确定小组成员中谁在客户拜佛过程中表现出缺乏信心,以便在应用过程中为他们提供辅导

 

4.业务影响目标的制定

这个目标是所有利益相关者对培训“成果”的期望所在,是衡量学员是否将培训中所学知识和技能应用到实际工作中而带来行为和绩效变化的关键步骤,也是对知识掌握(二级目标)和应用/实施(三级目标)的进一步验证。以下内容可以供设定这个目标时参考:

目的:衡量应用知识和技能对业务产生的影响

 

最好的业务影响目标:

1.衡量指标必须与培训中所教授的知识和技能相关

2.描述的衡量指标容易收集

3.以结果为导向,描述清楚、具体

4.详细说明培训结束后,学员在业务部门中应取得怎样的成果

四种有硬性数据的业务影响目标:

产出、质量、成本、时间

三种普通的带有软性数据的业务影响目标:

1.客户服务(响应速度、准时交货、完好性等)

2.工作环境(员工保留、员工抱怨、不公平待遇等)

3.工作习惯(怠工、缺勤、违反安全条例等)

举例:

1.在一年内,将员工流失率从30%降低到15%

2.在半年内,将缺勤率从周平均10%降低到5%

 

5.投资回报率目标的制定

具体计算办法:将培训获得的价值(用货币形式表示的净收益)与投入的资源(培训总成本)相比较。即:ROI=(培训净收益÷培训总成本)×100%

2、确定评估计划和基础数据

评估计划包括数据收集计划和分析计划,而数据必须包括客观的可衡量数据和主观的描述性数据。

1)基础数据的分类

数据分为硬数据和软数据,分别举例:

硬数据:

产出

 

成本

 

时间

 

质量

 

生产的单件产品数

制造完成的重量

组装的零件数

回收的货款

出售的零件数

完成的表格数

放出的贷款额

库存周转率

来访的病人数

处理完的申请数

毕业的学生数

完成的工作任务

每小时的产出

预定的工作量

奖励分红金额

出货量

开发的新客户

 

预算变化

单位成本

可变成本

固定成本

一般管理成本

运营成本

成本减少

项目成本

项目成本节约

事故成本

销售费用

 

设备停机时间

加班时间

出货时间周期

项目完工时间

监管的时间

新员工的试用期

培训时间

会议日程

维修时间

工作中断时间

订单响应时间

报告延迟时间

 

废料的比例

废品率

客户拒收率

订单出错率

返工率

顾客投诉率

缺料率

与标准的偏差

生产故障率

事故数量

 

软数据:

工作习惯

 

感觉/态度

 

新技能

 

进步/改善

 

工作氛围

 

主动性

 

缺勤

 

工作主动性

 

倾听

 

工作效率的提高

 

不公平待遇的数量

 

新想法的实施

 

怠工

 

工作态度

 

阅读速度

 

加薪次数

 

员工抱怨

 

项目的圆满完成

 

超额休息

 

工作责任心

 

应用新技能的意向

 

参加培训次数

 

工作满意度

 

提交的建议数量

 

违反安全条例

 

积极工作行为

 

使用新技能的频率

 

业绩考评等级

 

员工流失

 

落实的建议数量

 

沟通故障

 

员工敬业度

 

做决定的次数

 

工作效率的提高

 

诉讼案件

 

工作成就

 

员工士气

 

解决的问题

避免的冲突

心理咨询问题

 

 

 

明确工作目的和设计业绩指标

 

2)数据收集计划

举例:以销售培训为例

项目:互动式销售技巧培训
责任人:
日期:

 

级别

 

广义的项目目标

 

衡量指标

 

数据收集

 

数据来源

 

时间

 

责任人

 

 

反应/满意度
★肯定性反应
★建议改进的内容
★要采取的行动

 

*在1至5数值范围内,质量、实用性、培训目标完成状况的平均值至少要达到4.7
*行动计划的提交率达到100%

 

反应问卷

 

学员

 

第二天结束

 

培训讲师

 

 

学习结果
★获得的技能
★技能的选用

 

模拟角色演练场景,演示正确选用15个销售技巧和影响客户的6个步骤

 

技巧练习

 

学员

 

第三天结束

 

培训讲师

 

 

培训内容应用/实施
--使用技能的程度
--使用技能的频率
--确认障碍

 

*报告技巧得到应用的频率和程度
*报告在访问客户过程和获取订单时遇到的障碍

 

调查问卷
培训结束后跟进

 

学员

 

培训后3个月
培训后3个星期

 

培训协调员
培训讲师

 

 

培训对业务的影响
--销售增长

 

每周的销售额

 

绩效监控

 

销售报表

 

培训后三个月

 

学员的直接上司

 

 

ROI至少达到25%
备注:说服利益相关者安排、设立控制组并网其指定标准

 

3ROI分析计划

还是以销售培训为例的ROI分析计划:

项目:互动式销售技巧培训
责任人:
日期:

 

数据(通常是第四级)

 

鉴别培训项目/流程效果的方法

 

将数据转化成货币价值的方法

 

成本分类

 

无形收益

 

最终报告的目标受众

 

应用中出现的其他影响因素或问题

 

备注

 

每个销售人员的销售额

 

对照控制组进行分析

 

利用毛利率直接转换

 

讲课费用
培训材料费
餐费/茶点费
培训场地
学员的工资福利
培训协调费

 

客户满意度
员工敬业度

 

学员
销售部门经理
零售店经理
区域总部主管
培训人员

 

没有和控制组人员沟通

 

在培训中必须注意工作的覆盖面

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3、培训期间的数据收集

1)第一级(反应和满意度)评估的数据收集:

1.标准的反应和满意度评估数据由八个部分组成,如下表:

反应和满意度培训评估表

 

培训项目名称:
日期:
培训项目编号:
地点:

 

以下描述与本次培训的某些具体内容相关。请标明您对每项描述同意的程度,并在需要时给出评论:
①=非常不同意
②=不同意 ③=无所谓 ④=同意 ⑤=非常同意

 

Ⅰ内容:

 

 

 

 

 

 

1.教学目标解释清晰明了

 

 

 

 

 

 

 

 

 

 

 

2.已达到培训设定的教学目标

 

 

 

 

 

 

 

 

 

 

 

3.我理解本课程中的材料和主题

 

 

 

 

 

 

 

 

 

 

 

4.培训内容与我的工作相关(若不同意,请说明原因)

 

 

 

 

 

 

 

 

 

 

 

 

 

请留下您的意见:

 

Ⅱ方法--以下活动/材料有助于我理解培训的内容和达成所设定的培训目标

 

5.在培训前收到了预习的材料

 

 

 

 

 

 

 

 

 

 

 

6.学员手册

 

 

 

 

 

 

 

 

 

 

 

7.课堂讨论

 

 

 

 

 

 

 

 

 

 

 

8.联系和/或阅读材料/活动

 

 

 

 

 

 

 

 

 

 

 

9.音像材料(挂图、录像等)

 

 

 

 

 

 

 

 

 

 

 

请留下您的意见:

 

Ⅲ培训环境

 

10.教室环境适合本次培训

 

 

 

 

 

 

 

 

 

 

 

请留下您的意见:

 

 

 

培训师姓名

 

NO.1

 

NO.2

 

NO.3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Ⅳ培训师

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

11.对培训内容表现出相当的知识水平

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

12.表达清晰,有助于我的理解

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

13.鼓励学员参与活动及讨论

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

14.对问题给予恰当的回答

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

15.有效地控制小组学习的热情

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

16.使讨论/活动始终围绕培训目标

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

请留下您的意见:

 

Ⅴ行动计划
17.作为本次培训的成果,您将会有怎样的行动:

 

Ⅵ培训的总体评分

 

1=完全无法接受……10=非常优秀

 

 

 

 

 

 

 

 

 

 

 

18.我对本次培训的综合评分

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

请留下您的意见:

 

有哪些因素阻碍使您无法将所学的内容加以应用:

 

哪些人最适合学习本次培训内容?您会推荐谁参加同样的培训?

 

请告诉我们,您认为哪些信息有助于本次培训的改进:

 

感谢您花时间告诉我们您的学习体会和建议:

 

2.对于时间长度超过一天的培训项目,在每天培训结束时应当实施问卷调查,可以及时对当天培训内容获得反馈,同时对接下来的内容进行相应调整。每日培训反馈如下表:

1.今天的培训内容有哪些还令我感到困惑和/或不清楚?

 

2.培训的哪些内容最有用?

 

3.如果能够……将会对我更有帮助:

 

4.培训的节奏:()正合适 ()太慢 ()太快

 

5.学员的参与度:()不够 ()太多 ()正合适

 

6.以下三个方面对我非常重要,我希望您在明天的培训中讲授:

 

7.评论或建议:

 

2)第二级(学习结果)评估的数据收集:

1.选择性地对学习结果进行评价。在实际操作中,不是所有培训项目都要实施第二级评估,这就需要根据培训项目的性质、重要性、所需时间和资源来决定是否有必要实施第二级评估,并选择做到何种程度(见下表)。

评估的前提条件

 

对测试的考虑

 

若适用,请选择

 

学习目标描述得不清楚

 

在考虑是否需要测试学习结果之前建立/重新设计学习目标

 

 

学习目标表明不需要掌握该内容

 

应该只测试学习目标要求的相应级别,务必让培训项目资助人员和一线经理明白掌握该内容不是培训项目的要求,可能还需要更多和/或其他的培训

 

 

学习目标要求实现技能的应用

 

采用基于行为的测试

 

 

培训项目资助人员或客户要求实现学习效果的评估

 

决定什么类型的证据可以接受,采用适当的方式来实施

 

 

学员是否达到培训目标中设定的最低标准

 

采用标准参照测试

 

 

培训项目与提供证书及执照的过程相关

 

采用标准参照和行为测试方法

 

 

有必要再现非常接近真实生活的场景,或者安全被认为是重要的因素

 

采用模拟手段,并确保有预算保证评估的实施

 

 

重要的技能和知识必须转化到工作中去,以满足法规、利润率和客户服务的要求

 

采用行为测试方法

 

 

计划实施更高一级的评估

 

考到最为经济适用的方法,在这种情况下,较低一级的评估并不需要很复杂

 

 

考试结果被作为晋升或职业发展的参考标准

 

采用客观的测试方法(书面形式的测试和行为测试),可以严格地满足有效性和可靠性的要求

 

 

组织中某项政策禁止采用考试这种手段或者工会合约禁止进行考试

 

采用测试技术,确保以匿名的方式来检验学员的理解程度,以及在多大程度上达到学习的目的

 

 

 

 

 

2.用客观测试对学习结果进行评价

客观测试根据培训目的来设定,学员必须按照培训内容对测试题做具体和准确的回答,对应该掌握的知识和表现的行为,客观测试具有“标准”答案,因此,客观测试不能用来测试态度、感觉、创造性和解决问题的过程以及其他隐性的技术或能力。在设计客观测试题目时必须遵循一定的原则和步骤:

说明:

客观测试或者是为了测试知识,或者是为了测试行为,或者两者皆有。

*知识性测试衡量对信息的理解程度或者对某种技能的掌握程度。知识性测试可以采用口试或者书面考试的方式。对产品知识和工作流程的理解通常采用知识性测试

*行为测试(有时指技能测试)要求学员演示工作中需要完成的某项任务(或多项任务)时使用某种技能而表现出某种期望的行为。如销售过程中应对拒绝和使用恰当提问技巧就是2个基于行为测试的例子

*在上述任何一种测试中,在学员接受测试时,应该提供与真实工作环境相同的资源。例如,如果在工作场所中允许使用参考资料,那么在进行书面测试和技能测试时也应该提供这些参考资料

 

步骤一:检查课程目标 仔细检查课程目标以确保测试题反应该目标中所期望的知识和技能。测试题不应原封不动照抄目标

步骤二:选择合适的测试类型 选项满足目标要求并适合被测试学员的测试类型。若是基于行为的目标,测试也必须要以行为为基础;基于知识的目标也必须采用基于知识的测试题来做。设计基于行为的测试题时应该包含被测试的任务、完成任务所具备的条件,以及合格的行为标准。应该尽可能地还原工作场景,通过使用与工作环境中相同的资源、设备、材料等来完成任务

步骤三:便携测试题 对照每个独立的学习单元编写测试题 以参考目标来决定基于行为的测试和基于知识的测试哪一个更适合 基于知识的测试通常使用多项选择的方式,衡量学员对培训中信息的理解,要求从几种可能的答案中选出一个正确的答案 基于行为的测试应该结合工作场景密切相关的流程,衡量学员在执行流程的过程中表现出来的动手、言语表达或分析方面的技能

步骤四:检查每个测试题 测试题必须清楚,没有含糊不清的内容,不需要额外的解释和翻译 测试题的行为格式必须符合学员的阅读理解习惯 避免对正确答案给出任何暗示或提示 不要将某个问题的答案明显地写在另外的一个问题中 仔细检查内容和语法错误 确保测试题目能够按照培训目标要求对应该掌握的内容起到测试作用

步骤五:对照和记录测试题目 将测试题目与培训相匹配的情况记录下来,并且记录每个测试题的正确答案

步骤六:设计测试 决定采用测试的类型,然后按照下面的指示进行测试的设计 必须对每个目标进行测试 测试题的数量和范围应该反映出每个目标所占用的学习时间 测试题应该区分合格和不合格的表现 测试时间的长短应该是可控的,而且应该在分配的时间内完成 测试题的形式具有一致性,切忌频繁变换问题的类型 不要将一道测试题分割在2个页面上 将测试题根据学习单元分组排列 给参加测试的人员提供清楚说明 若测试题的分数不同,应清楚地标明分数值 确保测试题能全面地反映出培训目标中对掌握知识和技能的需求

 

客观测试题一般以选择题的形式出现,这里不再赘言。

第二级评估可以采用标准参照测试和行为测试。标准参照测试是一种预先设定好及格分数的客观测试方式,目的在于了解学员能否达到最低标准,而不是测试学员之间的成绩排序。行为测试是让学员展示在培训项目中学到的某种技能,应尽可能模拟技能使用的真实场景如时间的控制、必要的材料和工具、测试的说明、相关人员的配合、评估的标准和程序等。行为测试比书面测试的成本高,但是在测试条件和真实工作条件具有相似性的培训项目中,行为测试是一个很重要而有效的方法。其设计的一般原则这里也不再赘言。

4、培训之后(第三级和第四级评估)的数据收集

培训之后的数据收集侧重于2个方面的信息收集:学习成果促进学员行为改变的程度以及行为改变对业务影响因素产生的作用,包括第三级和第四级的评估。数据收集方法有培训后跟踪问卷调查、行动计划/改进计划、岗位观察等。一般常用跟踪问卷调查表和行动/改进计划。对于跟踪问卷调查表,大家可以在网络上搜搜,有不少这样的表格设计,可以拿来学习一下。

5、培训效果鉴别

1)综合考虑影响绩效的因素。绩效结果改进的因素有很多,培训只是其中一个重要因素而已,但不可能是全部,所以在进行培训效果评估的时候,要主动提出和强调这一点,才能使效果评估具有客观性,赢得大家对培训效果评估的认可和尊重。

2)鉴别培训效果主要用10种策略:

第一、控制组:如果计划实施ROI研究的话,应该首选这个策略;如果要活的精确度很高的效果鉴别,而且这一点有非常重要的话,必须采用控制组策略。

第二、趋势线分析:用历史数据画出趋势线并延伸到未来,在实施了培训项目之后,绘制出实际绩效线,与趋势线比较,超出的部分就可以合理地归结为培训项目实施的结果

第三:预测法:在趋势线分析时,如果出现另一变量对培训效果产生影响并且呈现线性关系时,就不能直接画出一条直线,而是用线性模型(y=ax+b)来计算绩效的改进数值,剔除该因素对绩效影响的部分,就能得到培训项目带来的收益

第四、学员提供的评价:简单而直接地从学员的推出获得绩效的改进多大程度上是由培训项目所引起的,因为学员是行为变化和绩效改进的主体,他们的评价往往能够更好地得到管理层的信任

第五、主管提供的评价:学员的主管对学员的绩效目标改进以及学员的行为变化具有直接的观察,对这些改变的影响因素非常清楚

第六、管理层提供的评价:高级管理层可以就培训项目所引起的改进情况做出估计

第七、客户意见:向客户询问他们对哪些与使用了具体的知识技能(培训项目的目标)的有关产品或服务有什么反应,直接关注培训项目所计划改进的那些知识行为

第八、专家评价:内外部专家对培训产生的影响进行评估,他的可信度取决于专家的声誉

第九、下属意见:主要用于管理培训项目的效果评估,向参加培训的经理人员的下属就培训后经理人员的行为变化提供反馈意见

第十、计算其他因素的影响:有些情况下,可以先考虑其他因素对绩效改进的影响,然后得出结论说剩余的影响都是由培训项目带来的

如何选择以上这10种鉴别策略呢?要知道,选择前挡的策略来鉴别培训效果,是决定培训效果评估能否取得成果的一个关键性步骤,必须在慎重考虑以下问题的基础上做出合理选择:

有可能安排控制组的活动吗?

有历史数据可以利用吗?

在投入因素与产出指标之间能建立其某种数量关系吗?

学员是否有能力和意愿就衡量培训影响的那些指标推测信息?

学员的主管是否有能力和意愿就衡量培训影响的那些指标估测信息?

高层管理者是否有能力和意愿就衡量培训影响的那些指标估测信息?

供应商或者专家是否可以就培训的影响提供实际的估测?

学员的下属是否有能力就学员在工作环境中可能发生的潜在变化提供意见反馈?

是否可以确定非培训因素对绩效改进的影响?

内部或外部的客户是否能够就培训对客户决策和客户满意度的影响提供信息?

在使用数据收集工具的过程中是否存在阻力?

6、将数据转换成货币价值

1.将数据区分为硬数据和软数据,前面已经说了,这里不多说。

2.数据转换成货币价值的10种策略:

第一,将结果转换为贡献,比如:增加的生产单位或服务单位所带来的边际利润贡献,如每天多生产收集的台数,每天接待顾客的人数等。

第二,转换质量的成本,比如次品率降低所带来的成本降低

第三,转换学员的时间,比如员工完成工作所需时间的减少所带来的每小时劳动力成本降低

第四,使用历史成本,比如参照历史数据记录作为衡量指标与当期状况进行比较,如安全培训使事故率下降带来的成本降低

第五,使用内部和外部专家,比如没有历史数据参照比较时,专家能够根据经验和假设提出可信度较高的估计

第六,使用来自外部数据库的数据,比如行业研究报告和竞争对手资料,如员工离职率及成本、新员工的培训成本及收益等

第七,使用学员提供的估计数据,主要是软数据的估计,比如自信心的增强、与主管沟通次数的增加

第八,使用替代衡量指标,在无法取得衡量指标时,可采用替代指标,如在工作满意度和员工离职率之间存在相关性,离职成本相对比较容易得到,工作满意度的变化就可以据此转换成货币价值(近似值)

第九,使用主管和经理提供的数据,如绩效合同和绩效考评的数据

第十,使用培训人员提供的估计数据,比如培训人员的经验数据或估计

3.数据转换成货币价值的步骤举例,以员工保留率提高所带来的货币价值:

转换步骤

 

转换内容

 

1.改进的衡量单位

 

离职人数

 

2.每个衡量单位的价值(V

 

200000元(100000元年薪×200%离职成本)

 

3.绩效水平变化(ΔP

 

10个,培训使得每年可以留住10个工程师

 

4.改进的价值(V×ΔP

 

2000000元(200000元×10个)

 

7、确定培训成本。确定培训成本是计算ROI的最重要因素,有关成本的数据必须全面精确和现实。这里不多赘言。

8、计算投资回报率(ROI)(第五级评估)

1.收益成本比率(BCR=收益÷成本,比如:如果某个培训项目的总收益为800000元,总成本为250000元,则BCR=800000÷250000=3.2,那么表示为3.21也就是说:每投入1元,得到的收益为3.2元。

2.投资回报率(ROI=(净收益÷成本)×100%,以上列子则ROI=800000-250000)÷250000×100%=220%。就表示每投入1元用于培训,在收回投资的同时,还得到了2.2元的净收益。

9、确定无形收益

表现为行为改变或业务影响因素的无形收益虽然无法用货币的价值来表示,却是培训项目收益中的另一重要组成部分,其所包含的范围超过了货币收益,只不过无法转换成具体的数值,或者转换的成本太高而得不偿失。无形收益通常作为培训项目评估必要的补充数据,离开无形收益的评估就不是完整的评估。常见的无形收益有:

在第三级评估(行为变化)上:组织承诺的加强、沟通的加强、员工自信心的增强、团队协作的改善、冲突的减少、合作的加强、决断力的提高、工作氛围的改进、客户忠诚度的提高等等。

在第四级评估(业务影响)上:创新的增加、客户满意度的提高、社区形象的提升、投资人形象的提升、更快的客户反应时间、员工工作年限的延长、员工缺勤或迟到现象的减少、员工流失的减少、工作满意度的提高、不公平待遇的减少等等。

10、评估结果的沟通

对培训项目的不同利益相关者而言,他们所关注的培训结果不可能是完全相同的,这就要求我们在沟通上要做到有针对性比如:

和高层管理者沟通时,强调培训项目的背景、结果和建议;最好有ROI数据;至少提供业务影响因素数据(第四级评估结果)。

和一线经理沟通时,强调培训项目的目标、项目大纲和目标达成率;有第四级评估结果和第三级评估结果。

和学员沟通时,强调第第二、三级评估结果

最后形成培训效果评估报告,这个就不用多说了。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多