近年来,在《深化新时代教育评价改革总体方案》的推动下,我国学者围绕增值评价的理念、技术和应用开展了诸多方面的研究,合理运用增值评价结果是其中的一项重要内容。然而,如何基于增值评价结果精准服务教育管理和教育教学,尚未形成科学、有效的机制,“重方法、轻结果”“重结论、轻运用”的问题较为突出[1]。针对增值评价结果运用的问题,有效反馈可以提供可行的解决方案。 1 增值评价反馈的问题分析 目前,我国对增值评价的研究逐步深入,这对增值评价有效应用提供了重要支持。但客观而言,增值评价实践中仍存在一系列问题亟待解决,特别是评价反馈的问题常受到忽视。增值评价不同于传统的终结性评价,其过程耗时长、内容范畴广、结果形式多,容易出现低效甚至无效的评价反馈,对增值评价实践的整体效果会产生不利影响。深入分析阻碍增值评价有效反馈的问题后,归纳为以下4个方面。 首先,增值评价的信度和效度不稳定。所有的反馈都必须以某种形式的评价或判断作为先决条件[5],可以说评价的质量影响着反馈效果。信度和效度是判断评价质量的重要指标,信度代表评价结果的稳定性和可靠性,效度则代表评价的准确性和有效性。由于数据缺失、测量误差等问题的出现,统计上的假设难以在现实的教育情境中得到验证[6],从而导致增值评价的信度和效度不稳定。在这种情况下,师生对评价数据的信任度将会降低,反馈可能会使师生产生非预期的负面情绪[7],从而影响反馈成效。尤其是在高风险绩效考核中,不稳定的信度和效度会使评价相关主体收到反馈后产生怀疑倾向,从而忽略甚至抵触增值评价的结果,这就有违反馈接收的积极意愿准则[8]。因此,保障评价的信度和效度是有效反馈的前提条件,而目前很多增值评价的信度和效度有待提升。 其次,反馈内容不易理解。反馈不是单向的输出,还包括反馈对象的接收。因此,师生能否准确理解反馈信息是实现有效反馈的基础。一些增值评价的反馈以书面报告形式呈现,其种类繁多、内容较为复杂,并缺少对统计方法和数据含义的充分解释[9],从而阻碍师生准确理解反馈内容。以美国学校为例,其报告类别多样,每种报告的侧重点也不同,主要有增值报告、表现诊断报告、学生报告、学生成就预测报告等。增值报告主要描述学校或校区的总体增值结果;表现诊断报告更注重群体间的比较分析,呈现学校、教师、学生3个层次的增值情况;学生报告和学生成就预测报告侧重于学生在不同学科上的增值表现、比较和预测。另外,报告给出的反馈信息还包括增值量的判断标准和不同的增值表达形式,如百分比、标准增值分及净增值量等,报告内容可谓复杂多样[10]。然而,反馈的信息并非越多越好,需要选择精准、有效的信息,避免因冗余内容导致理解偏误,阻碍教师使用增值评价结果进行教学改革。 再次,反馈目的不明确。目的明确的反馈有利于信息传递和导向设立[11]。在评价反馈过程中,评价相关主体应达成一种目的共识,以促进师生间的有效合作。一方面,我国增值评价主要以标准化测试作为评价依据,过分依赖应试成绩,窄化了评价内容[9],这种增值评价使反馈目的偏向高风险考核,与促进师生发展的评价理念相悖。另一方面,在发展性和形成性的评价理念下,反馈目的应是分析成因和改进教学,而实践中的评价目的却与之有所偏差,造成了评价目的在理念与实践中的分歧,这不仅会影响反馈效果,还可能使教师错失改进教学的机会[12]。因此,目前增值评价的反馈目的还不够明确,阻碍着评价相关主体间的信息传递和评价导向的设立。 最后,反馈时机滞后。反馈应当及时,尽可能在测评结束后立即开展,以保证师生及时得到近期表现的评价结果,从而进一步促进教学[13]。元分析研究也证实了及时、显性、直接的评价反馈对教学更为有效[14]。显然,恰当的反馈时机对反馈效果有着重要的影响。增值评价需要长期追踪和收集充足的纵向数据,通常耗时较长,评价结果产出较慢。此外,一些增值评价项目不仅包含学业成绩,也要测量教学的影响因素,各类因素的数据处理流程较为繁杂、专业程度较高,往往使得增值评价的反馈无法及时开展,导致反馈时机具有一定的滞后性。 2 基于增值数据的有效反馈路径 反馈本身无法对教学产生直接促进作用,需要使用适当的反馈策略使评价相关主体理解并运用评价结果来改进教学[15]。增值评价可提供丰富的反馈内容,但基于不同增值模型,增值结果在形式、内容等方面具有不同的特征,如果单一、死板地反馈增值结果,将不利于评价相关主体准确理解反馈内容。因此,亟须设计一种系统的反馈路径,保证反馈效果。而增值数据是反馈路径构建的基础,有必要对其特征进行深入分析。
一是获得分数模型。这是目前比较简单的一种增值模型,利用标准分差值的统计方法,将连续两次的标准化测试成绩之差作为增值量。前后测分数通过标准化处理,获得均值为0、方差为1的标准化分数集Z,使两次不同测试的结果纳入统一的衡量标尺中,公式如下: 获得分数模型以学生、班级的标准分差值作为增值结果,得到的数据相对直观、简洁,但这种增值模型只关注考试成绩,忽略了其他变量的影响,难以提取有针对性的诊断证据。 可见,多水平回归是一种嵌套结构,上层回归系数受到下层的调节,使数据在不同层次间产生关联。在控制非教育因素的影响后,学生层系数的变化会影响教师层系数的估计。 相较获得分数模型,多水平回归模型得到的增值结果更为具体,可以同时分析不同层次的增值特征,使得每一位学生和教师分门别类地获得有价值的反馈信息。与多元回归模型相比,多水平回归模型各变量间不再是相互独立的,评价场景中的变量分层布局、相互影响,增值估计会更加准确;因此,该模型的评价结果科学性更强,但对数据的解释也更为复杂。 四是成长百分比模型。其通过建立分数位回归在以往学业水平一致的考生群体(同类学生)中进行比较来评估每个学生的进步情况[19]。分数位回归关注的是变量的全局分布,利用加权最小绝对离差和法进行参数估计,数据具有显著的标准化特征,解决了增值的“天花板”和“地板”效应问题,并可有效甄别处于平均效能附近的评价结果。该模型的统计方法要求较大的样本量,支持所有对象在百分比水平内具有可比性。成长百分比模型通常服务于大规模增值评价项目,可能难以有效甄别小规模样本的增值评价。 基于以上分析,4种增值模型的构建思路和统计方法有相似之处,也存在明显的差异。为了更加直观地比较增值数据的特点,本文从复杂性、信息量、精准度、系统性和诊断价值5个维度总结比较增值数据特征,见表1。 2.2 增值评价有效反馈的路径 增值数据为反馈提供了必要的内容,是构建增值评价有效反馈路径的前提基础。依据增值数据的各个特征,有效增值评价反馈需要整体统筹、局部推进,以满足反馈的全过程、多层次和重改进的要求。 学生学习通常被定义为4个阶段:生成初始经验、反思性观察、形成概念和主动试验[20]。在传统认识中,反馈是第二个阶段的产物,但由于增值数据需追踪学生发展的全过程,因此,生成初始经验、形成概念和主动试验均可以被纳入增值评价反馈系统。可见,增值评价的有效反馈贯穿于整个教学过程,反馈路径的设计应体现出系统性特点。结合增值数据的分析结果,本文提出其有效反馈的路径系统,见图2。系统是由分析、报告和使用3个部分构成。 首先,增值数据的分析。准确分析增值数据是一项前提性工作,分析的科学性决定了后期报告的效果,这个过程由分类、整合、解释和评估4个环节组成。分类是指依据模型类别或师生特点等,将总体的数据集合理地分为若干部分;整合是指在不同学校、学科或年级的数据集中提取具有类似特征的样本。分类与整合能够保障数据的结构性,为下一步的解释和评估奠定基础。解释是分析增值数据的关键,妥善解释不同模型的统计方法和增值含义有助于评价相关主体准确理解增值数据,如获得分数模型的计算结果在统计上不考虑其他因素,对其解释可较为客观、直接;对基于回归的增值模型而言,数据内容较为复杂,解释需要用易于理解的表达方式。评估是指对数据的科学性作出判断,包括规范的数据采集和统计,如评估数据的信度和效度是否达标等,以确保后续报告的质量。 3 提升增值评价反馈有效性的措施建议 路径的确立为增值评价的有效反馈提供了可行的操作框架,如何更好地提升反馈效果仍是目前面临的主要问题。本文提出,健全综合评价反馈、加强形成性的反馈和搭建数字化反馈平台3项措施,以提升增值评价反馈的有效性。
目前,我国有关增值评价基本理念和技术模型上的研究已取得一定的进展,为实现增值评价有效反馈打下了基础。未来,结合增值评价实践的需要,可利用适当的反馈策略拓展增值评价的功能,以有效反馈为视角进行更多的本土化探索。 参考文献: 作者:李俊飞,南京师范大学教育科学学院在读博士生;谭顶良,南京师范大学教育科学学院教授 来源:原文刊载于《中国考试》2023年第5期第29—36页 |
|