|
本文由《远程教育杂志》杂志授权发布 作者：左晓梅 摘要
关键词：效益评估；定量方法；主观感受调查 “效益评估（impact assessment）”一词常见于项目评估，是确定目前或提议的行动所带给未来的预期后果的过程，用于确保所开展的项目或实施政策能够做到经济上可行、社会上公正及可持续发展。其具体界定是指“旨在更为广泛地确定项目是否给个人、家庭和机构等带来了预期的效果，同时判断这些效益是否由于项目干预所带来的。”（Baker，2000）通常情况下，评估研究会关注于过程或投入/活动和产出，很难将所观察到的结果归因于投入或者确信观察到了项目的结果或效益。项目效益评估会确认干预是否给个体、家庭或社区的经济收入带来影响，这种影响是否可以归因于所关注的干预。效益评估关注的是更高层次的项目结果。效益评估、过程评估和项目监控之间的不同，可以通过项目监控与评估框架中五个不同要素（效益、结果、产出、活动和投入）来体现（见图1）。由图1可以看出，对实施的监控作为效益评估的前提和基础，效益评估关注结果和效益，但结果、效益的产生源于投入、活动和产出。 一般来说，项目效益评估通常有两类方法：定量方法和定性方法，适用于各个领域。定量效益评估的最基本组织原则是应用一种明显的对照分析。定量效益评估能够通过项目参与者所观察到的实际结果与预期结果，来将特定项目所带来的效益剥离出来。由于这种对照和比较分析，定量效益评估能够明确说明估计的项目效益，这种效益评估方法更为权威而且通常作为严谨效益评估的重要参考。当然这种比较的不足在于用了同一组个体（如，项目参与者）并观察这一组个体在结果上的暂时变化，由于这种比较会将结果的变化归因于项目，往往会导致评量项目效益时出现偏差。而定性效益评估有赖于对认识理解过程（如，如果A发生了，有可能B会发生，然后C会发生等等）、观察行为（如消费）和条件变化（如学校条件）。其评估的类型通常会从对项目实施过程回顾、与项目利益相关者访谈得到个人的看法、进行焦点座谈、分析支持性的二手数据的过程中得出推断或结论。定性方法的典型做法是通过项目参与者对于项目各方面的感受和观点来反映由项目带来的变化。 一、典型的信息技术应用效益评估方法 测量学校信息技术的应用效益本来就是一个很大的挑战。由于有很多相互关联的因素影响学生的学习。要将某一因素，如ICT所带来的影响分离出来，更需要深入分析的方法。从国外的各项研究来看，测量和评估ICT在学校教育教学中的应用效益可以采用多种不同的方法，但每种方法都各有利弊。 如何判断ICT应用效益的产生并对其程度开展评估，以上的单一方法都不足以构成研究的主体，必须根据实际情况将多种方法综合应用。国外研究机构在阐述ICT对学校教育教学应用效益方面都做了不同方法组合的尝试，当然，其中各大研究所用的方式方法都是有所侧重的。 （一）对照实验 对照实验是在要阐明一定因子对一个对象的影响和处理效应或意义时，除了对实验所要求研究因子或操作处理外，其他因素都保持一致，并把实验结果进行比较，这种实验为对照实验。一般情况下，对照实验需要实验组和对照组。实验组就是接受实验变量干预和处理的对象组；对照组也叫控制组，对实验假设而言，是不接受实验变量处理的对象组，至于哪个作为实验组，哪个作为对照组，一般是随机决定。这样从理论上说，由于实验组与对照组无关变量影响是相等、平衡的，故实验组与对照组两者在实验结果上（即因变量）的差异，则可认定是来自实验变量（即自变）的效果，这样实验结果是可信的。 对照实验是一种比较理想的效益评估方法，最能清楚地说明干预及其效益问题。由此产生的ICT效益评估的具体操作方法为：选取一组从没用过ICT的学生作为控制组，相对应另选一组应用ICT的学生。经过一段时间学生对ICT的应用之后，通过随机测试的方式，测量ICT对两组学生学习的影响，分析差异以表明ICT的教育教学应用效益，如图2所示。但在现实中由于伦理及别的原因，这种对照实验的方法很少在教育领域应用。 随着教育信息化的不断进展，很多国家都已经将ICT的应用作为课程不可分割的部分，ICT在教育教学中应用已经成为很多国家的重要政策，这样使得控制另一组学生不应用ICT往往既不被政策也不为实践所允许。虽然这种理想的测量评估方法在现实中不具备操作性和可行性，但也为我们改进的评估方法提供了重要参考。 （二）主观感受调查法 对于英国而言，因为有全国统一的学业测试，可以以学业成绩为效果来进行定量评估，但对于很多没有统一学业测试的国家而言，这种定量评估就实现不了。第三种方法是基于问询与ICT应用相关的群体，通过他们对ICT效益的主观感受和体验进行ICT效益的评估。这种方法能够为基于学校复杂的日常环境的背景来评估ICT效益留出了空间。以这种方法来测量效益，无法证实ICT应用与学习效益之间的直接关联。但通过询问那些经历和体验过ICT效益的参与者，能够清楚他们是如何评估效益的。作为一种校长、教师、学生以及学生家长主观感知的效益，可能并不是真实的效益，但的确是应用者自身所认定和表达的关于他们应用ICT的实际结果。 这主要基于教师、学生对每个项目特定调查问卷的回答，辅之以案例研究分析的重要发现，旨在表明ICT应用对于教、学过程变革的影响。研究结果反映了对ICT影响和潜力的积极观点。但由于这种方法主要基于教师和学生的主观感受，在这一意义上，我们会假定这些证据对于证实实际效益，即ICT对课堂教学互动、学习成就的影响并不很充分，能够作为效益重要的研究结论部分，但不能全面反映效益。 事实上，这一数据仅仅是教师和学生自身对于学习应用ICT的结果的认识和看法，不能充分表明实际的效益。虽然这一方法提供了有用的深度的质性数据（如，表明主观感觉到的积极影响，尤其是与学科相关的成绩，如，学生基本技能、动机、自尊、信心和独立学习的改善），但其并不能提供足够具体的测量应用ICT进行学习的数据，除非增加更为详细的数据，如，为什么教师和学生和其他人认为ICT教学有效以及在哪种情境下有效，这些只能在深度案例研究中得知。 采用这种方法，调查参与者要被问到“如何体验到ICT效益，都体验到了ICT应用所产生的哪些影响”？这种方法能够为以学校复杂日常情境为背景评估ICT效益提供一定空间。如：教师评价ICT对学生绩效的影响，问题11.1：你估计一下你在教学中应用ICT对学生的绩效影响有多大？家长评价ICT对学生绩效的影响，问题3.1：你认为学校应用ICT对您的孩子影响有多大？我的孩子在学校学到的更多了，还是更少了？学生评价ICT对自己学习的影响，问题5.1：你如何评价学校内计算机的应用？你认为在学校应用计算机让你学的更多了或是更少了？在调查参与者明确ICT应用效益界定的情况下，这种主观感受还是能在一定程度上反映ICT真正的应用效益，采用这种主观感受调查法，最好辅之以深度案例研究，方能提供信息化效益的更为深入和详细的研究证据，也更具说服力。 二、国际研究项目中信息技术教育应用效益评估方法应用 对于如何判断ICT应用效益并对其程度开展评估，以上的单一方法都不足以构成研究的主体，必须根据实际情况将多种方法综合应用。国外研究机构在对ICT在学校教育教学应用效益的实证研究做了不同方法组合的尝试，其中不同方法各有侧重。
（一）英国Becta机构侧重定量辅之定性方法的评估 由于英国拥有国家统一学业测评的基础，英国Becta机构才得以在文献分析的基础上，结合国家统一的学业测评的定量分析来说明ICT应用所产生的效益。即从国家层面，在ICT应用与学生的国家考试分数之间建立起一定的统计关系，看是否有影响及其影响程度，以定量方式说明ICT的影响。当然，对于这种方法，很多研究者会存有一定疑问，即国家考试中所证实的传统知识和能力方面的提高，是否对应于ICT应用所导致的能力的提高，如推理能力、 问题解决能力等。于是Becta机构在基于这种定量方法基础上又辅之以一些定性研究方法，如通过广泛的研究文献分析来提供影响的有关证据。 英国Becta机构的Impact2 研究包含了60所学校，包括30所小学、25所初中，这些学校根据以下不同的标准来选择：一是最近（1996）Ofsted报告和Ofsted对于ICT资源的评估，基于最高1至最低7级的评价。二是参与PIPs或YELLIS项目，目的在于应用两年之前测试的初始成绩和之后标准测试（2001年6月国家测试或GCSEs）之间的测量展示增值。三是人口统计学指标用于确保样本学校群体的代表性。每所小学选择20名学生样本，代表K2的能力水平。每所初中选择2组相同样本，分别代表K3、K4的水平。在这些样本中，每名学生都有初试成绩，同时要回答一份三段式调查问卷，关于一年来ICT体验和经历（2000夏季到2001夏季），成绩标准来源于2001年的国家测试（K2/K3）和同时期的GCSE测试（K4）。三套数据（初试成绩、ICT经历和终试成绩）一起考虑提供分析ICT效益的必要信息。 1.初试成绩 小学生样本的初试成绩数据来自1999年PIPS测试。在K4阶段，基于同时期的YELLIS测试分数。在K3阶段，K3的平行分数不可用（学校样本同K4），相应地K2的国家测试分数作为初试成绩的测量。 2.ICT经历 所有的学生样本都要完成2000年7月和2001年7月的一份调查问卷。这些问卷与他们上一年的ICT经历相联系，第二阶段的结果将用于估算关键时期的ICT经历。问卷包括学生在课堂时间；课堂外的校内；校外（包括家庭应用）应用计算机学习特定学科领域的程度。 对于不同学科领域，这些问题会重复问到。对这些问题的回答采用五点式量表，从“从不”到“最多”，允许各情境下五点式得分的转换，之后对各门学科得分进行平均。为了研究某学科学生整体应用ICT的效果，学生被分成两组，基于他们所处阶段某门学科问卷中得分的中位数为临界值，在中位数之上和中位数之下的两组，即应用ICT频率高的学生群体和应用ICT频率低的学生群体。 区分学校的平均ICT水平，对学校进行分组。学校之间的比较会基于最初的选择过程，但ICT条件和应用的变化速度会很快。最后用与学科相关联的ICT分数的平均数（5点量表）作为每所学校内部每门学科各自ICT水平。通过统计，参与调查学校会被分成（每门学科、每个阶段）为良好的ICT条件、中等和较低三组。 3.相对得分 因为样本校的招生区域有变化，由家庭和社区来提供机会。对于校内学生也有同样的考虑，仅仅以国家测试和GCSE原始分数作为这些学生最后学习效果的标准不太适合。大量证据表明，计算相对得分来测量个体或小组一段时期的进步以修正最后的原始分数，考虑基于一次或多次相关测试的初试预期分数。这种计算要努力为所有比较而营造公平竞争的平台，之后是基于学校分组和学生分组（基于ICT条件和ICT应用经历）对相对分进行比较。将基线分数与国家测试或GCSEs中的学生的最后等级相比较，能够允许为每个学生计算预期分数，实际得分和预期得分间的差异作为学生的相对得分。如相对得分为0表示这名学生的国家测试得分与基线测试预期得分一致，正向分表明这名学生超出预期，负向分表明这名学生没有取得预期得分。 某名学生相对分的大小能够表明这名学生与同等水平学生之间的差距。在下图中，学生A比学生B测试分数要高，但其比预期差，得到了负的相对分。相反学生B比预期要表现更好，得到了正的相对分，如图3。 如图4，基于学生在特定学科中应用ICT的水平将其分成应用ICT频率高的学生、应用频率低的学生，计算每组学生在每个国家考试和GCSEs中的相对得分的平均数，然后进行比较，其相对得分平均数的差异能够表明ICT的应用效益。但也有专家指出，从科学统计角度来说，这种效益评估方法本身并没有解决将ICT和其他可能影响学业成绩的因素分离的难题。 （二）北欧数字化学习项目2006（Nordic 2006）的定性评估[3] 北欧数字化学习2006项目主要采用定性方法，通过问卷调查、访谈、学校实地考察等方式，以校长、教师和学生自身的感受来判断ICT的应用效益。具体来说：通过调查学校内不同的关键参与者，了解应用ICT的亲身经历，对于ICT对学生学习影响的认识。通过询问不同的调查对象，获得各种对于效益的观点和看法，这样以确保能够基于实际情况提炼研究结论。 1、问卷调查 主要通过基于网络调查来开展。该项目在224所北欧学校内开展了调查，参与调查的有8000多人，包括5年级、8年级、11年级的教师、三个年级的学生、学生家长以及学校校长。针对不同的调查对象设计了不同的调查问卷。该研究的主要调查对象包括： （1）5年级、8年级、11年级的学生院学生作为干预的目标群体，也作为调查的参与者之一。学生认为ICT对他们的学习以及他们在教学情境下的行为是否产生了影响？由于学生对教学问题的反思水平有限，在调查中，学生很少直接被问到影响。这样将更难于评估ICT对学生的影响，这些局限性将会在调查结果分析的过程中加以考虑。但学生的回答为研究提供了来自学生视角的关于ICT效益的很多有意义的信息。 （2）教师：参与问卷调查学生的老师也作为重要的调查对象。教师在教学第一线，有丰富的基于教学情境的经历，他们与学生一起体验课堂教学，了解ICT的应用方式并有对ICT效益的直接体验。 （3）校长：校长作为研究中另外一组被调查对象。校长负责制定本校规划及确定达成目标的策略手段，负责提供应用ICT的条件（如，设施设备的数量和类型，能力发展和支持），校长了解ICT作为工具的应用情况、学校目标的达成度和自己所体验到的ICT效益。 （4）家长：家长会根据对孩子的学习以及学校ICT应用的了解，为了孩子去说服学校，给学校管理及政府施加压力。虽然家长们很少能够出现在课堂，也缺乏关于学校情况的第一手资料，但研究中对家长必须予以特别关照，他们对ICT效益的体验多是基于自己跟孩子的对话以及参与学校某些活动而获得的，这种视角也将为研究提供重要信息。 （5）基于网络的调查：该项目在224所北欧学校内开展了调查，参与调查的有8000多人。调查对象包括5年级、8年级、11年级的教师、三个年级的学生、学生家长以及学校校长。针对不同的调查对象设计了不同的调查问卷。
2、实地考察 该项目同时还开展了对十二所学校的实地考察，包括与教师、学生、学校管理者、家长和政府代表的访谈。实地考察过程中关注到对调查结果的评价以及进一步的视角来看这些结果。这些学校是从参与调查的224所学校中选择的，以代表ICT应用的不同类型。学校实地考察的主要目的在于评价和换一种视角看问卷调查结果，主要是效益的不同领域。校长、教师、学生及家长都要参与访谈。另外，政府代表和负责学校ICT教学法或技术的教职员工也要参与访谈。政府代表和负责学校ICT教学法或技术的教职员工、校长都要单独访谈，其他群体采取座谈形式。 学校实地考察的结果既用于评估问卷调查的结果，但同时也用作报告中的短小的典型案例。应用主观体验的调查方法，并不一定要去证明ICT应用与学习结果之间的直接联系。但通过调查那些体验过ICT效益的群体，实际上在表明这些调查对象是如何评估ICT效益的，这种效益是校长、教师、学生以及学生家长主观感知的效益。虽然可能并不是真实的效益，但却是应用者自身所认定和表达的应用ICT的实际结果。 （三）STEPS项目的综合评估方法[4] STEPS项目的主要研究目的在于提供一份对于欧洲27国ICT与小学教育整合的主要策略及其效益、未来发展远景的报告，预期确认ICT对学习和学习者、教师和教学和小学发展规划和战略的主要影响，通过比较分析提供针对ICT与教育整合的一整套建议的研究基础，同时也指出有效应用ICT的主要推动力，在考虑文化、社会和经济背景的同时为政策制定者、各个层面的责任人的提供建议。 STEPS项目采用了定量与定性相结合的综合方法，见图5。STEPS项目中的主要研究问题是：“小学中ICT应用的主要策略是什么？他们的影响及未来发展愿景是怎样的”？这样一个问题很复杂，不可能是单一的答案，需要教育系统不同方面的投入，国家、地区或区域层面的政策制定者、代表学校和课堂教学层面的校长、学习者，发布研究证据的研究者。每一类群体都需要不同的方法，对ICT效益的先前研究表明，所采用的每种方法都各有利弊。STEPS项目则应用综合性方法，结合定量和定性研究，以提供多维度视角下对这一问题更深入的理解，同时提高研究证据的信度和效度。 STEPS项目认为，单独的研究证据都不足以提供ICT为什么或如何造成教学质量差异的解释。要在研究所涉及的30个国家开展大量定性和定量调查活动，包括政策制定者的调查、教师和校长调查、文献研究、学校实地调查和案例研究。STEPS项目对教育部门和相关组织政策制定者的定性研究将提供小学ICT的政策背景，并概括出小学ICT的日常应用方法。通过对2006年欧洲学校ICT条件和应用标准的重要数据进行分析，并结合27个欧洲国家从事小学教育的6449名校长和12378名学科教师访谈的定性分析，为欧洲国家间重要指标的可比性提供有意义的视角。另外，小学层面的实践经验案例的记录，将作为最主要的策略类型的例证。基于学校调查和来自国家信息员的反馈和建议，发现实践经验案例学校，并与所参与学校建立联系。通过实地考察学校、进行课堂观察和与高级职员、教师及学生的访谈，开展14个国家的25项STEPS案例研究，从国家和学校背景、实践经验（主题、学科、活动类型）、实践经验产生的效益（对学生、教师和学校）、保障条件以及障碍（如，技术应用、成功因素）四个方面，来描述好的实践经验以及背后的影响因素。通过案例研究以进一步深入问题，阐明背景，进一步探索基于访谈和课堂观察的教、学及学校实践。应用这些综合方法，得以在第一时间以连贯一致的系统方式，收集到研究项目所涉及的30个国家的研究证据，从而得出整体结论。
三、方法评述与启示 （一）可测影响无法全面反映应用信息技术带来的效益 可测和不可测的影响都可能是应用信息技术所带来的效益，也都很有必要，但考虑到研究的操作性，可测的影响数据如果要有信度，需要严格的控制，需要剥离除信息技术以外的其他影响因素，需要前测与后测数据；实验组与对照组数据的比较等等。这些在教育教学现实中难以实现，本研究将基于以上国际研究的经验，结合我国现在的教育实际情况，通过主观感受调查、典型案例研究来定量分析和定性描述信息技术可能给相关人群带来的影响和效益。 与此同时，这一方法也存在风险与偏差。我们所认识到的ICT效益会更多地体现在对学生创造力、问题解决能力等高级思维能力的影响，而现有的考核评估体系与这些影响方面不相匹配。一些研究仅仅看到ICT对于传统教学过程和知识掌握的改进，这就可能出现当用于测量学生学业成就和学习结果的方法与应用信息技术改进的学习活动和过程关联越大，才会出现更多的有效的信息技术教育应用效益的分析。而能否以及如何将匹配的测量考核内容渗透进已有的考核评估体系，这成为研究ICT应用效益需要处理好的一大难点。但有时对于研究人员来说，测量传统教学过程和知识掌握的改进和提高更为容易，而相应地那些随ICT应用而带来的创造力、解决问题能力等的提高往往不在测量范围之内。 在某些情况下，预期效果包括测量方法与不同ICT环境下学习应用的本质不相匹配，这需要根据具体的学习情境和教学过程来评估ICT应用活动所带来的对学习的促进和技能的改进。在关于ICT应用效益的研究中，仅仅只有其中一些研究通过提供国家或其他测试分数来表明ICT对学习成绩的影响，由于英国的国家统考或统测，这些研究大多在英国进行，这些研究通过找到与教育标准的真实差异旨在回答对ICT投入的回报问题。每个定量方法应该辅之以深度的定性数据，以能有充分的数据作为基础。 （二）主观感受调查对于应用效益的证明缺乏权威和信度 主观感受调查作为一种定性评估，是在对定量评估的反思与批判中成长起来的。运用定性评估，一方面有利于从整体上把握评估内容；另一方面有利于对评估对象作比较全面和正确的认识。但定性评估的局限性也是显而易见的。首先，定性评估对研究者的要求过高，不是一般研究人员能达到的；其次，定性研究也的确存在主观性，研究者的参与会导致角色和情感冲突也是一个应该考虑的因素；最后，定性评估必须经历一个相当长的时间，而且需要大量的资金投入。[5] 对于信息技术应用效益的主观感受评价，其典型做法是通过信息技术应用的参与者对于信息技术各方面的感受和观点，来反映由信息技术应用所带来的变化。将信息技术应用参与者的主观感受加以量化，能够更为深入地反映出信息技术教育应用情况及应用过程中的问题等等。但由于定性评估是基于参与者的故事和提供关于信息技术应用的情境性观点，会经常被质疑缺乏严谨和内部效度，包括数据的主观性，缺乏可信的对照组，由于小样本缺乏统计的严谨性。 （三）有机整合定量和定性方法全面评估信息技术应用效益 定量评估和定性评估的区别是显而易见的，但在信息技术应用效益评估领域中，定量评估和定性评估单独使用，都无法解释或回答所有的问题。不同的评估方法之间不应该对立，而应是互为补充尧互相支持。定量评估和定性评估只是从不同的侧面，用不同的方法对同一事物进行的评估。在信息技术应用效益的评估中，定量和定性评估方法的结合程度会影响评估的结果，更会影响教育信息化的决策和良性发展，虽然定量研究在我国才刚刚开始，但应该大力提倡，必须克服那种非此即彼的做法，要把定量与定性评估结合起来。 对信息技术教育应用效益的评估应该是综合和全面的。既要定量效益评估，通过代表性样本的对照数据分析，更好地推断项目与结果之间的关系。而定性研究能够提供对项目情境的批判性观点和对定量数据分析结果的深度解释，好的效益评估通常能够最大可能地综合定量和定性方法。对我国而言，应该充分重视ICT创新项目及其影响力的评估研究，逐步积累关于ICT应用效益的定量和定性的相关数据，以作为国家层面学校ICT效益研究的重要基础。要在充分而深入认识两类研究方法的基础上，不断改进和完善，让这两种方法互相补充，相辅相成。 结合应用以提供关于ICT应用效益的更具说服力的研究证据，并基于此促进ICT在学校教育教学中的有效应用和效益的不断提高，这也将成为我们开展ICT应用效益研究的一个重要突破口。 作者简介：左晓梅，博士，中国教育科学研究院教育督导与评估研究中心助理研究员，主要研究方向为教育信息化、教育评估等（pin_er78@163.com）。 基金项目：本文系中国教育科学研究院2008年度基本科研业务费专项基金课题——中青年专项“区域性推进义务教育信息化均衡发展评估研究”（课题批准号：GY200827）的研究成果。 |
|
|
