|
作者：胡丽 博士、崔连斌 博士 出处：安迪曼咨询、安迪曼研究院 我们每次做评估主题分享或者讲柯氏认证课程时，都会做一个正式或非正式的小调研看看大家如何评判各个层级评估的难度系数。到目前为止的答复基本保持一致：极少情况下有人会认为二级评估很难做。我们2013年度的培训行业调研结果表明只有68.6%的企业在开展二级评估（图1），2014年的行业调研结果表明48.7%的企业培训管理者认为他们的二级评估工作开展的非常熟练到位（图2）。但是，2014年度行业研究的后续深度访谈数据结果表明企业中所开展的学习层面评估还远远没有达到严格意义上的二级评估要求，接近50%的培训人所认为的在二级评估操作上“已经到位”的判断与严格意义上的二级评估要求之间还存在很大的差距。 2014年Jim Kirkpatrick到中国来讲课，和他交流评估的实践操作及其相关话题时，他也再次强调二级评估确实是最难的一个环节。我们自身的实践体会也是：二级评估做到位了，三级行为改变才具备了一个必要条件，反之，三级行为改变将无从谈起。为什么二级评估很重要，却也很难？从下面两大方面来看： 老的柯氏四级评估模型中二级评估主要关注在三大指标维度的评价，即知识、技能和态度。但是，最新的柯氏二级评估中增加了信心和承诺两个维度。换句话说，如果哪一天企业的利益各方（比如学员、学员主管、或更高层级的管理者）问到员工在某个项目中学得如何，培训管理者们需要从上述五大指标维度去思考和提供答案（图3）。缺少了任何一个维度上的思考和数据结果，很有可能受到精明的“老板们”的质疑和挑剔。 无论您是培训从业新手还是培训老江湖了，不知您是否从这五大指标看出了些培训的背后逻辑？ 1) 为什么从老柯时代直到现在的二级评估仍然专注在知识、技能、态度的评价？培训人都喜欢把知识（Knowledge）、技能（Skill）、态度（Attitude）简称为KSA或者ASK。其实，胜任力建模的人喜欢把KSA提炼总结为“能力”或者叫做“胜任力”。研究结果表明，在企业中出现的所有绩效问题中只有大约20%是跟能力不足有关的。同时，全球培训界也有一个共识：培训只能解决能力不足造成的业务绩效问题，非能力的问题得由非培训的方法解决。从这个逻辑来看，既然二级评估是为了评价“学习“，重心肯定要落在知识、技能、态度的掌握和转变程度上。 2) 二级评估的目的是看学员对所学内容的掌握情况，只要是本着这个目的进行的评估活动，无所谓该活动实际发生的物理环境是在学习场所还是工作场所，都把这个动作归结为二级评估的范畴。比如，即便在学员回到工作中后进行卷面考试（评估动作发生在工作场所），这仍然属于二级评估。 3) “信心&承诺“是二级评估中的缺失环节。做为培训管理者，您有没有经常碰到类似于”员工在培训中学的很好，但训后与训前相比没什么两样“的困惑？导致这个问题的原因很多，但信心和承诺的不足一定是其中很重要的两大原因。而且遗憾的是，这两大因素至今仍然在被我们很多培训管理者们忽视。学员尽管在培训过程中把内容学会掌握了，但他不见得有信心而且有意愿将所学内容应用到工作中去。信心和意愿的建立至少需要学员本人、直线主管以及培训管理者三方共同努力。学员将所学的任何新方法应用到工作中都意味着是一项变革，这个过程能否顺利度过，学习者”学以致用“的信心的建立以及意愿的强化就变得至关重要了。比如我们习惯了使用Office2003，刚开始使用Office2010时您的工作效率通常会降低（阶段2），然后随着使用熟练程度越来越高，工作效率会慢慢提高（阶段3），直到您可以下意识熟练使用Office2010时，您才达到了”关键行为改变“（阶段4）。我们在很多培训项目的评估结果中发现许多学习者被拍在沙滩上（没有熬过阶段2和阶段3）——因为没有建立起学以致用的信心和意愿而导致训前训后一个样（图4）。这也就是为什么说二级评估很难的一个原因。 二级评估的方法有很多，比如问卷调研、访谈、行动计划、行动学习日志等等。但是，考试是非常常用的一种方法。通常情况下，很多人认为考题开发只要精通课程内容就可以，或者说业务专家就能轻松搞定考题开发，因为业务专家精通业务。其实不见得！在评估工具开发领域，考题开发是相当难的一个培训业务模块。有些企业做任职资格，因此需要为任职资格的落地开发相应的考题甚至是题库。这类型考题的开发不仅复杂度比单个培训课程/培训项目的考题开发更高，而且风险更大（甚至是考试结果被质疑而带来的法律风险）。如果您希望您提供的考题有很好的效度和信度；如果您希望考试结果不要受到质疑；如果您希望考试结果信息有助于培训项目的进一步优化完善，考题开发一定是一个需要投入大量精力且需要采用科学方法开展的工作。 通常情况下，企业中的培训考试是为了检验学习者是否掌握了应该掌握的知识内容，考试的结果是为了验证而不是淘汰。基于这个理念和动机，企业培训考题的开发一般采用标准参照型原理进行考题开发（Criterion Referenced Test, CRT），即基于胜任工作的需要和标准而进行的考题开发。我们的其中两位博导Shrock 和Coscarelli是CRT考题开发领域的权威专家，他们写的一本关于CRT考题开发的书籍多少年来一直被奉为这个领域的圣经（Shrock, S. A., & Coscarelli, W. C. (2007). Criterion-referenced test development: Technical and legal guidelines for corporate training (3rd ed.). San Francisco, CA: Pfeiffer. ）。 要开发高质量（有效度和信度）的考题绝不是我们传统理解那样的简单和轻松，其方法和流程如图5所示。从这个CRT考题开发模型来看，其复杂度和专业难度不亚于课程设计与开发。如果您熟悉课程设计与开发，您会发现CRT考题开发的某些环节与课程开发流程是可以合二为一的。因此，建议大家把评估工具尤其是二级考题的开发工作嵌入到课程设计开发的大流程中。如此一来，可以节省大量的时间，同时也能更好地保证所开发出来的课程能够执行落地和有效。 在CRT考题开发过程中，认知类的考题开发是最常用也是难度系数最高的。要开发好认知类的考题，建议大家需要掌握一定的成人学习理论。就如我们大家所知道的，学习目标是指学习者学习某个内容部分之后能够达何种程度的能力提升，任何课程中的任何模块的学习内容之所以存在就是为了服务于他所对应的学习目标。而学习目标不是凭空制定的，而是来源于且最重要服务于工作任务或者叫做工作胜任的需要。从图6可以看出，考题是来源于且最终要服务于学习目标的达成。 布鲁姆将学习目标分为由低到高的六个层级：知识（记住）、理解、应用、分析、综合和评估。在课程设计开发里，学习目标是向下兼容的，即当有了应用层级的学习目标，则同一学习内容就不需要单独设置更低层级的类似于理解或知识层级的学习目标了。因为考题的开发是由学习目标决定的，因此您的培训课程或培训项目要开发什么样类别的考题以及把每一个题项开发成什么样子，不是“拍脑袋“决定的，而是要遵循成人学习原理。 认知类考题题型一般分为如图7所示的六大类：对错题、连线搭配题、选择题、填空题、简单题、综合问答题。每一类型的题有其自身的考察局限性，图中打“X“表示该类型的题能够服务于哪些层级的学习目标。比如连线搭配题，最多只能考察到理解层面的学习目标。换句话说，如果您的学习目标是为了考察学员是否能够采用培训课程中所教的”谈判五步法“去进行客户谈判，对这个应用层级的学习目标的考察就一定不能使用连线搭配题了。如果您非得用连线搭配题去考察，最后的考试结果将缺乏说服力，因为这个题型没有办法真正服务到学习目标导致考题缺乏效度。
更多干货等您领↓↓↓ |
|
|
来自： 团团_圆圆 > 《培训技能—专业技术》
