分享

培训效果四级评估模型最佳实践

 昵称36759833 2018-03-08

       培训效果四级评估模型,通常特指由威斯康辛大学(Wisconsin University) 教授唐纳德.L.柯克帕特里克(Donald. L. Kirkpatrick)于1959年提出,主要内容:反应评估(Reaction) ,又称一级评估:评估被培训者的满意程度;学习评估(Learning),又称二级评估:测定被培训者的学习获得程度;行为评估(Behavior),又称三级评估:考察被培训者的知识运用程度;成果评估(Result),又称四级评估:计算培训创出的经济效益;因此被称为“柯氏模型”。

      菲利普斯基于柯氏四级模型存在的缺陷,提出五级评估模型,增加了投资回报率,当然如果我们深入了解四级评估模型时,其结果层级的评估依然会考量硬性指标,如绩效,实际上是包含投资回报率的数据的,只是柯氏没有在模型中明确提出而已;正如唐纳德.L.柯克帕特里克的儿子詹姆斯.L.柯克帕特里克所说,企业在使用该模型时存在着很多误区,其中表现最为鲜明的误区有以下三种: 一,柯氏评估模型的作用只能有限地发挥在前两个层次,即评估反应层和学习层;二,柯氏评估模型仅对一般的培训课程和项目的评估有效;三,柯氏评估模型和培训教学设计、胜任特征以及绩效管理毫无关联。通过把四层次评估模型和教学设计、胜任特征、绩效管理结合起来进行的一系列的研究发现,把它们联系在一起可以增加四层次评估模型的运用深度,并且可以在此基础上形成战略协同性,这就从真正意义上使人力资源管理中的培训活动成为企业发展战略的“业务伙伴”。

      无论如何,工具的使用关键在于使用者而非研究者。随着企业对培训效果评估的日益重视,柯氏评估模型已成为企业培训效果评估的主要标准;至今柯氏四级培训效果评估模型仍然是世界上应用最广泛的培训评估工具。

      众所周知,培训是通过一定的手段(课堂授课、案例研讨、评价中心法、角色扮演、情景模拟等)使员工在知识、技能和态度方面达到改进并取得绩效提升的一个过程。培训是达到绩效提升的一个过程,包括培训实施、培训需求分析、课程设计、培训师队伍建设及后续培训效果的评估相关的行为改善和绩效提升的一系列动作行为。 

      一、反应评估(Reaction):受训学员对培训的感觉,直觉如何?

      反应评估,它反映的是学员在培训过程中及结束后对培训过程的直接感受,即学员感觉培训如何?

      事实上,有一个基本过程,培训课程是培训师通过课程呈现、课程控制、沟通影响等行为和动作而进行培训。为了收集受训学员队培训的感觉,直觉如何,我们通常可以借助问卷调查或直接进行访谈全体受训学员或抽样调查部分学员来进行评估。问卷调查和访谈,实际上是调查学员对培训效果反应层级的评估,一定是所有参与培训评估调查受训学员评估的平均值;如果综合的平均值趋势高的话,说明培训的反应层级的效果相对好。

      在设计培训反馈表时,一般会考察受训学员对培训内容、培训讲师、讲师讲解、课堂呈现、培训案例、培训环境、培训组织等多个方面的反应,培训效果反应层综合的反馈是培训内容、培训讲师、培训组织、培训环境、培训后勤支持等多个方面的汇总。有时候,为了更加有针对性的对课程设计、培训师等方面进行反应层级评估,在进行反应层级评估时,可以分别进行评估,采用加权法或分别区分课程相关、环境相关分别进行数据汇总,有区分、有对比,才更能有效的评估相关方面的反应评估的有效性如何。

      反应层级评估需要注意的事项:

      1. 应当将受训学员对培训课程的主观感受进行量化,来反映受训学员的评价(主观)而不是培训的真实效果。

      2.反应评估是最容易实现的评估,所有培训课程都可以进行,是反应评估得到广泛运用的原因。

      3.如果受训学员反应层涉及多个维度,通常用加权法进行数据汇总,加权法比平均法更能反映真实情况,更能反映培训成功的关键点。

      4. 反应评估的结果会因为不同时间去做调查而出现不同的结果,通常会随着时间的推移,大部分培训课程反应评估的结果会逐渐下降,主要原因是培训结束时收集反馈,学员还停留在对培训讲师的第一印象或者热烈激情的教学气氛中, 而一旦回到工作岗位,受训学员会反思是否真正用到了工作上,是否能驱动绩效发展。真正有用,这时所评估的结果往往会比培训刚结束时要高;否则,就低。

      5.反应层级评估要采用多时间段,多阶段的信息收集;培训进行或结束时收集反馈,了解学员对培训课程、讲师、培训组织的直接感受;3个月左右与行为层级评估同期收集,了解培训是否能够运用到工作岗位上;6个月以后与结果层级评估同期收集,了解培训是否对绩效实现有驱动效果。

      二、学习评估(Learning):受训学员学到了什么?

      学习评估,反映的是受训学员参加培训后知识、技能、态度、行为的提升和改变,即学员学到了什么了?相比培训前,哪些能力得到了提高?提高到什么程度?

      培训课程培训后学习层级评估,更多是通过测试(考试)来反应学员在培训后能力的提高情况,而不仅仅是反应层级受训学员的直观感受,这是和反应评估最大的不同。

      实践中,不同的培训课程其测试的方式亦不同:

      1)概念性培训的学习评估

      概念性培训指培训内容主要是一些概念或事实,制度、流程、标准、规范等,如公司企业文化、规章制度、安全生产、产品知识等就属这一类的培训。概念类培训大部分以理论或事实为主,其学习层级评估能力测试的方法多以卷面测试(考试)为主。

      全面测试直接取参加受训学员测试的分数平均值进行汇总测算。如果说考试的结果,评估是良好的,我们不但可以认定培训课程的学习层级评估是合格,同时还可以考量对培训课程内容、培训管理以及培训讲师的培训技巧方法上的优化和改进。

      2)实操性培训的学习评估

      实操类培训泛指一些设备操作类、技能提高类培训,通常表现为在各种工作情境中能够精确而流畅地操作或实际技能的展示程度。比如打字、机床操作、办公软件操作培训等。与概念类培训学习评估不同的是,操作类培训反映的技能或能力提高的程度或提高的百分比。

提高的程度或百分比可设定一定的区间,如1分是10%以下,2分是10%-30%以下......很容测评受训学员是否达到了培训预期的技能或能力提高的程度。

      3)综合素质类培训的学习评估

      综合素质类培训泛指综合素质、领导能力、管理能力、态度或价值观这一类培训,比如沟通技巧、时间管理、团队建设、阳光心态、领导力、执行力、性格与领导力等培训。这类培训后的能力是否有提高,无法在培训结束后直接测试,而是要运用到实际工作岗位上才能看得出是不是发生了变化,因此对这类培训通常建议不要做学习层级评估,可以从反应层级评估直接过渡到行为层级评估。

      学习层级评估需要注意的事项:

      1.学习层级评估需要进行测试,这是其显著特征。能进行测试的,必须进行测试,否则可以说,没有测试就没有学习层级评估,不管是理论层级的考试还是实操层级的操作测试。

      2.受训学员学习层级评估测试所得的值与培训效果评估需要建立一个函数关系,企业可以根据自身的情况进行定义和设计函数公式。

      3.学习评估量化评估值不仅反映了学员对培训知识是否掌握和掌握的程度如何,同时也反映了学员的学习能力。学习能力和学员未来的成长路径有很大关系,当然也映射出学员的学习态度,这些数据的提取,有助于支持人力资源管理相关政策的改进和优化。

      4.学习层级评估反映的是培训前后的学员能力提高的变化情况,因此要进行学习评估,就需要在培训前和培训后对学员的能力进行测定。如果是新知识、新技能、新概念类培训可以测试,也可以不测试,如果测试的话,应将受训前能力值设置为零即可。 当然,对新知识、新技能、新概念培训进行学习层级评估测试时,是可以反映整体学员的学习能力或整体水平以及新知识、新技能、新概念的难易程度。

      5.对于实操类培训的学习层级评估,如果测试的只是某一个方面的技能,则用平均算法;如果是多项技能,则可以采用加权算法;加权算法加权法比平均法更能反映真实情况,更能反映培训成功的关键点。当然,加权系数企业可以根据自身情况定义。

      三、行为评估(Behavior):受训学员在受训后有哪些行为改变?

      行为评估,是受训学员将培训所学知识、技能运用到工作上,所发生的能力的提升和行为的改变的情况。提升了多少?改变了什么?

反应层级评估、学习层级评估实际上评估的时候是不跟受训学员的实际工作相结合的。从行为层级评估开始,培训课程就同实际工作相结合,反映的是学员在实际工作上运用培训内容的情况,行为层级评估不仅评估了培训课程在实际运用中的有效性,也评估了学员运用培训内容的能力。

      进行反应层级评估时,罗列出培训课程中可以运用的知识点或技能由于培训内容涉及的知识点一般都比较广,有些能够用到工作中,有的用不到工作中。培训要进行反应层级评估,培训管理者需要定义在工作中运用到的知识点,并考察这些运用到的知识点所带来的行为变化。实质上无论是概念类、操作类和综合素质类的培训课程都应该找出可运用点,因为所有的概念、方法、心态、技能最终都会反映到行动中来。如果找不到这些运用点,原因可能在于培训课程本身的实用性和针对性不强,或培训组织者的课程分析能力和培训管理能力弱。

      如何得到培训课程可运用的知识点呢?一,分析培训需求与课程大纲,课程大纲是课程内容的浓缩,体现的是整个课程的设计、逻辑和脉络。培训课程大都有是什么(What)、为什么(Why)、怎么做 (How),什么人(Who)、 在哪里(Where)、什么时候(When)等内容;也就是我们经常讲到的七何分析法(5W2H法); 二,用“5W2H”法从“怎么做”中列出可以在工作中运用的知识点,最有用、更重要的内容是“如何做”,至于“是什么”、“为什么”、“什么人”“在哪里”等内容是概念或意识层级的,而“怎么做”则是行为层级的,所以行为层级的培训效果评估就需要从“怎么做”中找到可以运用到工作上的知识点。

      选出可以进行量化的行为改变观察点并设定量化标准。实践由于可运用的知识点可能会比较多,太多的知识点会给行为层级评估带来较大的工作量,同时有些知识点也不便于进行量化评估,所以行为层级评估接下来要做的是从这些可以运用的知识点中选出可以进行量化的行为改变,找到这些观察点。筛选要做到必须是核心内容;能够用到工作上,行为容易转变;容易观察到的;可以进行量化的。同时,可以根据培训课程的内容设定评估时间;从评估的准确性和有效性来讲,时间长一点会好一点,但从督促学员更好地运用培训知识来看,则早一点要好,对行为改变评估的时间点,各企业可以视自己的情况来定。

      行为层级评估同时评估了培训课程的有效性和受训学员在工作上的实际运用情况,因此在进行行为层级评估的时候,不仅要看总体评估的平均值,更要看学员个体行为改变值,学员个体行为改变值比平均值更能反映培训的实际效果。为了更好研究个体的行为改变值,可将各受训学员的个体行为改变值以曲线图的形式呈现并进行分析。所有受训学员的个体行为改变值越高,表明培训课程实用性强、受训学员行为转变较好,培训内容运用到工作中的情况良好。

      反应层级评估需要注意的事项:

      1.反应层级评估值反映的是培训内容的实用性和学员的实践运用能力,因此其所反映的效果是同工作岗位实际工作相结合的效果,是真正意义上的培训效果评估。反应、学习仅仅是表象上的培训效果评估。

      2.选择出行为改变观察点并对改变的程度进行观察,是行为层级评估关键的步骤和核心要素。

      3.选择出的行为改变观察点越多越全面,但为了减轻行为层级评估的工作量,必要可以减少行为改变的观察点,甚至我们可以根据企业战略或绩效需求只观察考虑一二点即可;其他的点,可以指导受训学员采取“自省法”进行自我改进。

      4.培训课程中可以应用到工作上知识点的多少,直接决定了培训效果评估的好坏。有针对性的培训一定会有许多的知识应用点。如果培训课程找不到可以运用到工作的知识点,则培训有效性肯定是有问题的,对组织而言是可以舍弃或提倡自学。

      5.培训课程内容中可以找到应用到工作上的知识点,是需要通过“5W2H”法进行分析,重点从“如何做”处获得的。一个效果好的培训课程,其内容的核心是“如何做”,整个课程设计也应该是把重心放在“如何做”上。

      6.如果在整体培训中无论是运用到工作中的知识点,或对工作行为的改变点,都找不到的话,就说明培训课程对企业而言是失败的或没有价值。

      四、结果评估(Result):组织或受训学员的绩效是否有所提升或改进?

      结果评估,是受训学员参加培训后带来的实际收益,培训对工作改进有帮助吗?培训对绩效有驱动吗?绩效有所提升或改进吗?

      四级评估是所有评估中最难的,收集数据最困难、评估的周期较长,其主要的难点是要找出绩效改变提高和培训课程的直接关联性到底有多大?我们知道绩效的改变提高有多方面的因素,除了个人能力的提升、行为的改变,还有组织流程改变、市场环境变化、产品品牌、同行竞争、顾客需求、市场环境、技术环境、国家行业政策等多种情况影响,结果层级评估的一个关键问题是:绩效虽然提高了,有多少提高的点跟我们的培训有直接关系呢?

      实践中,我们要解决:绩效虽然提高了,有多少提高的点跟我们的培训有直接关系这个问题。1)选定要评估的课程:由于结果层级评估是要和业绩和绩效挂钩的,所以要进行四级量化评估,就要选择和绩效有直接关联的课程。不是所有课程都适合做四级量化评估。一些对绩效没有直接关联的课程,就不适合做四级评估,不仅进行四级评估有难度,而且评估起来也没有效果。2)先进行行为层级评估:由于是要评估培训给绩效带来的改进,因此在做结果层级评估前,一定要进行行为层级评估,因为只有运用了才会有改进,只有行为改变了才会有结果,也印证了“行为产生结果”。行为层级评估的结果直接影响到结果层级评估。所以,结果层级评估的结果一定要和行为层级评估相结合。3)培训前后绩效数据进行对比:培训前后的绩效数据是有变化,在进行结果层级评估时,当我们得到了学员三级评估的行为改变值和培训前后的绩效改变值后,将绩效改变值和行为改变值构建一个函数关系,可以得到结果层级评估的结果。

      实践中,绩效改变的原因,一是由培训行为转变带来的改变,二是由非培训因素带来的转变,比如产品、市场、人员、流程、环境、技术、行业、顾客需求的变化等。要把一些非因素尽量给剔除出来。可以把相关或不相关因素分别计算影响程度,但在实际工作中,我们很难定义出绩效改变究竟是培训的因素,还是非培训的因素以及它们两者之间的比重是多少。但是,我们可以转变思维,抓住结果层级评估的核心是评估课程的有效性,是评估培训给绩效带来的变化,而非定义绩效改变中培训占了多大的比重。当然也可以构建相应的曲线图进行相关数据进行对比分析。

      结果层级评估需要注意的事项:

      1.不是所有培训课程都适合做结果层级评估,一些对绩效没有直接影响或关联的课程,无需做结果层级评估。

      2.要使得结果层级评估有效,绩效管理要科学,绩效目标符合SMART原则。

      3.结果层级评估的核心是评估课程的有效性,是评估培训给绩效带来的变化,而非定义或区分绩效改变中培训驱动力占了多大的比重。

      4.做结果层级评估的前提是反应、学习、行为三层级的评估必须进了评估,特别是行为层级评估取得了相应的数据。。

      5.四级量化评估值是学员行为改变和绩效差异之间的函数关系所得到的结果。

      6.结果层级评估值个体的意义要大于群体平均值,从个体分析的绩效改变中可以得出,什么样的培训对什么类型的受训学员产生影响,哪些因素是培训带来的,哪些是非培训因素带来的。   

      通过以上对柯氏培训效果四级评估的阐述,可以发现,很多培训项目其效果的优劣是有 办法可以进行量化测量的,但并不是所有的培训项目都适合做到四级评估,也并不是所有的绩效问题都能够用培训来解决,而且企业还需要考虑到管理成本的因素。当组织的人力资源管理成熟度高的时候,培训效果评估也就很容易实现。


【作者简介】

      韦祎,法学学士、工商管理硕士、中级会计师、二级心理咨询师、高级人力资源管理师、MBK7全绩“笑”管理系统创始人、“六脉神剑”人力资源管理系统创始人、人力资源管理师和企业培训师(TTT)培训讲师;曾在世界500强企业从事人力资源、运营管理,对人力资源管理、集团管控、企业战略、流程再造、股权激励、企业大学、风险控制、改制重组、危机预防等有丰富的实践经验。


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多