分享

促进有效学习的评价反馈系统及其应用

 昵称6076551 2015-08-23

本文由《现代教育技术》杂志授权发布

作者:韩 后、王冬青【通讯作者】

摘要

随着有效学习研究的深入,反馈作为重要内容进入人们的视野。及时有效的反馈有助于激发和维持学生的学习动机、提高学习效果。评价数据是反馈内容的重要依据,该文针对传统教学中反馈存在的不及时、主观、片面等问题,提出了促进有效学习的评价反馈系统设计模型,实现了原型系统ilearning。该系统能够全面记录学生的学习过程和结果数据并为学习者提供个性化测评报告,帮助学习者了解当前学习状态、明确下一步学习目标。应用结果表明,该系统能提高学生的学习效果,促进有效学习。

关键词:有效学习;反馈;评价反馈系统;测评报告


引言


随着教育改革的进行,有效学习的研究成为焦点话题之一。在信息时代,面对海量的信息、知识和技能,如果学习方式不当,很容易陷入忙碌但无效的学习状态之中。反馈是教学过程的必要环节、形成性评价的重要组成部分,也是有效学习发生的基本要素之一。“基于反馈学习”的观点认为“教学就意味着提供反馈”[1]。


传统教学环境中,反馈的实施存在一定的问题,教师不能及时、全面了解学生的学习情况,在反馈信息方面存在一定的主观性、片面性,并带有一定的延迟:(1)教师往往凭借教学经验,根据学生的表情判断学生对知识的掌握情况,反馈效果难以测量;(2)反馈的参与面较窄,教师难以同时对多个学生提供反馈辅导,难以面向全体;(3)针对作业、练习和测试的反馈带有较大的延迟性,而且反馈信息不够具体全面,难以为学生提供及时、有针对性的学习建议。


技术在教学中的应用为学习者提供及时反馈和更多的学习机会[2]:(1)计算机具有强大的数据存储与分析功能,能够全面记录学生的学习过程数据,并为教师和学生提供全面的测评报告;(2)网络中存储了大量优质的学习资源,如试题、解析、教案等,为反馈提供内容来源;(3)理想情况下的评价反馈系统具有较高的智能性,能够根据学生的水平、任务的难度等自动为学习者提供个性化的反馈[3],真正体现“一对一”教学的理念、促进有效学习。


一、有效学习与反馈的关系


1、有效学习发生的条件


有效学习是解决学习内容无限性和学习时间有限性这一基本矛盾的重要途径。国内外很多学者从不同方面对有效学习发生的条件进行界定:斯皮策[4]从学习动机角度提出有效学习的发生取决于以往的学习体验及现有学习情境提供的诱因;拉尔夫泰勒[5]从学习者的学习心理及学习行为方面将有效学习发生的条件归纳为积极主动的学习动机、清晰的学习目标、适宜的学习任务、学习者解决问题的信心、奖励和反馈、不断地练习和学习迁移等;我国学者邵瑞珍等[6]从教与学两个方面考虑,认为有效学习包括外部条件(主要指教师提供的信息)、学习者原有知识和技能以及学习者的学习动机和学习策略三个必要条件。


本文认为有效学习的发生离不开教师、学生以及学习环境三方面内容。(1)教师方面,包括教学目标设置、教学内容选择以及教学任务安排等。调控好教学过程,使教与学处于优化、平衡的状态,离不开反馈;(2)学习方面,包括学习者的学习准备和学习者的主动加工活动。美国心理学家加涅认为:“学习的每一个动作,如果需要完成,就需要反馈,反馈是学生学习的重要条件”;(3)学习环境方面,主要指教师、学生以及学习内容之间交互的平台或系统。交互数据本身也是反馈内容的数据来源,平台提供的反馈信息能够进一步改进学习。


2、评价反馈在有效学习中的作用


形成性评价是当前评价领域研究的热点问题,反馈是形成性评价的重要组成部分,对形成性评价的效果起着至关重要的作用[7]。作为自我调节学习的关键环节,反馈可以有效地促进学习者建构知识体系、改进认知策略、优化目标设置、调整学习策略,进而提高学习效果和效率。当前对反馈的研究不仅仅关注反馈是否能够促进学习,而且关注反馈如何促进学习的问题。Hatti从反馈缩小学习者当前水平与预期目标之间的差距方面提出了促进有效学习的反馈模型[8],指出有效反馈必须回答的三个问题:(1)我要去哪里,即我的目标是什么;(2)我现在在哪里,即我已经取得了哪些进步;(3)我接着要去哪里,即为了取得更大的进步,我需要采取哪些行动。通过回答上述三个问题,可以使反馈达到促进有效学习的目的。但对于“什么样的反馈能起作用”这个问题至今没有定论,大量研究表明在学习者能理解的范围内,正确、有效、客观、有重点且明确的反馈能够促进有效学习。同时,只有学习者愿意接受反馈并且正确使用反馈信息时,反馈才能发挥事半功倍的效果。


二、评价反馈系统设计与实现


技术与评价思想的融合,引发了评价内容、方法和形式的深刻变革,主要体现在强调评价活动与学习活动的整合,通过形成性评价来促进学生的学习与发展[9]。针对评价过程与结果的反馈也更加全面、呈现形式愈发多样,为学生的学习提供了有力的支持。


1、评价反馈系统设计模型


本文从学生内部处理、教师外部干预以及技术支持环境三方面提出评价反馈系统的设计模型,如图1所示。





首先,在教师教学干预方面,教师对教学的管理,根据教学过程可以将其分为制定任务、针对性教学、个别化辅导、教学质量分析四个阶段。每个阶段,教师会安排不同的教学内容、设置不同的学习活动。教师既可以使用传统的方式为学习者提供活动和内容、观察学习者的表现、改进教学并为学习者提供学习指导意见;又可以通过技术支持环境(系统或平台)发布学习活动和教学内容,在系统或平台给出的测评报告、反馈建议等反馈信息的基础上调整教学,为学习者提供个性化的学习资源。这些资源被称为学生进一步学习的“脚手架”,从而促进学生的知识学习和技能发展。


其次,在学生内部反馈方面,学生在完成任务的过程中监控成绩和学习过程记录了解差距,能够产生各种自我反馈;学生能够对外部信息进行解释和过滤,对反馈在影响下一步行动之前做出解释和内化,即通过增加努力程度、调整学习目标、优化学习策略,缩小当前水平与预期目标的差距。除此之外,伙伴反馈也作为一种外部反馈,对学习起到一定的促进作用,学习者可以与伙伴合作、查询同伴与自己过去成绩,构建一个“同伴压力和竞争”机制,让学生了解自己和他人的作答情况,以此勉励自己,形成良好的互动。


最后,技术支持环境能够全面记录学习者学习过程及学习结果数据,并根据学习评价信息构建学生模型、领域模型、认知诊断模型等。一方面为学习者提供自动反馈,当学生提交评价任务后,系统进行自动评阅并提供反馈内容,如标准答案、分数以及适合学习者知识水平和认知状态的学习内容;另一方面为学习者提供学习资源推送服务,包括学生根据自我评价结果订阅符合自己认知特点的学习资源,以及系统根据学生模型主动为学生推荐的学习资源。


2、测评报告:基于测评数据的学习分析报告


测评报告能够通过对学习过程和学习结果的统计分析,提供学习者学习过程中存在的问题,为有效学习的开展做出科学依据。它作为教师对学生学习过程最重要的外部干预手段之一,被普遍应用于教学活动中。根据评价类型的不同,测评报告可以分为总结性评价报告(如,学业水平报告)和形成性评价报告两类。学业水平报告(国外又称分数报告)属于学业反馈的范畴,通过控制分数报告的反馈形式对学习者进行干预,可以有效地影响学生的表现[10];形成性评价报告基于具体的学习平台,能够为学习者提供章节内容的分析报告,并提供一定的学习建议。有研究表明,当向学习者提供学习建议时,学习者的学习动机和学习效率都会受到促进[11]。本文在总结性评价和形成性评价并重原则的指导下,在评价反馈系统中进行测评报告的设计,其分析流程如图2所示。



本文构建了评价反馈系统原型—ilearning,并在其中实现了测评报告的分析流程。学生可以在系统中进行目标导向学习、开展针对性的迭代训练与错题专项练习、完成教师统一组织的测试或作业等,教师可以为学生提供个性化辅导和关键学习指导,系统自动记录学生学习过程数据和学习结果数据,为学生提供知识点掌握情况分析、历次作答情况分析、试卷作答情况分析以及相应的学习建议等反馈内容,帮助学习者更好地了解当前学习状态。测评报告系统界面如图3、图4所示。



三、应用效果分析


1、实验描述


为验证该评价反馈系统的有效性,本文选取大一《计算机导论》中技能操作部分(含Windows、Office、IE等)作为实验内容,华南师范大学教育技术1班、多媒体3班96名学生作为实验对象,进行实验组对照组前后测准实验设计。技能操作部分的自动评价借助itutor[12]实现,学生学习过程数据和结果数据实时传送到该评价反馈系统中。实验组使用评价反馈系统辅助学习,对照组则不使用该系统。


在实验开始前,首先对两个班学生计算机基础水平进行测试(即前测)。测试结果表明,两个班学生的技能操作水平无显著差异(t=0.255,p>0.05),为此我们选择教育技术1班为实验组,多媒体3班为对照组。随后,根据前测结果将参与实验的学生分为高分组、中分组和低分组(如表所示),其中得分前33%的学生为高分组、得分后33%的学生为低分组、中间则为中分组。经过一个学期的实验后,对所有参与实验的学生进行IT技能水平测试(即后测),分析是否使用评价反馈系统(即不同的教学方法)对不同学习程度的学生计算机掌握水平的影响。


2、数据收集与分析


除去前、后测成绩为空的学生,实验收集94名学生的两次成绩,其中教育技术1班48人,多媒体班46人。计算机水平分组如表所示。对收集到的数据采用两因素方差分析、单因素方差分析以及事后检验等方法进行分析。



(1)不同计算机水平和不同教学方法对学生技能操作水平的影响



在两因素方差分析之前,对方差齐整性(F5,88=2.207,p>0.05)进行检验,结果表明因变量符合方差齐整性检验。两因素方差分析结果如表,不同教学方法和不同计算机水平对后测结果有显著的影响。LSD事后检验表明,使用评价反馈系统进行学习的学生明显比不使用该系统的学生后测成绩高。不同教学方法与不同计算机水平的交互效应显著(F2,88=3.164,p<0.05)。


(2)不同教学方法下不同计算机水平对学生技能操作水平的影响



在进行单因素方差分析前,对不同教学方法下计算机水平的方差齐整性(实验组,F2,45=0.257,p>0.05;对照组,F2,43=3.598,p<0.05)进行检验,对照组不符合方差齐整性检验,因此在事后分析中采用Dunnett方法进行检验。单因素方差分析结果如表所示,实验组中不同计算机水平的学生后测成绩无显著差异(F2,45=0.213,p>0.05),即高分组、中分组与低分组学生的后测成绩相差不大;对照组中不同计算机水平的学生后测成绩有显著差异(F2,43=6.301,p<0.01),Dunnett事后检验表明,中分组和高分组学生的后测成绩明显高于低分组学生的后测成绩,然而中分组和高分组学生之间无显著差异。


(3)不同计算机水平下不同教学方法对学生技能水平测试的影响



在进行单因素方差分析之前,对不同计算机水平下不同教学方法的方差齐整性(高分组,F1,27=0.059,p>0.05;中分组,F1,32=0.000,p>0.05;低分组,F1,29=3.742,p>0.05)进行检验,结果没有违反方差齐整性假设。单因素方差分析结果如表所示,在不同计算机水平前提下,不同教学方法对后测成绩有显著影响。使用评价反馈系统的实验组中低分组学生的成绩明显高于不使用评价反馈系统的对照组中低分组学生(F1,29=12.624,p<0.01),实验组中高分组和中分组学生的后测成绩均高于控制组中高分组和中分组学生,但在统计学上差异不显著。


通过比较表和表发现:与不使用评价反馈系统相比,使用评价反馈系统能够更有效的促进学生对计算机基本操作技能的掌握。并且,对于计算机水平较差的低分组学生有更大的促进作用,有助于他们缩小与计算机水平较高的中分组与高分组学生的差距。计算机水平较低的学生学习计算机操作技能时存在困难,他们需要更多的指导和帮助。然而,在不使用评价反馈系统的对照组中,计算机水平较差的学生后测成绩也较差。


四、总结与展望


反馈是有效学习发生的关键条件,测评报告是反馈的一种重要形式。如何设计评价反馈系统中的测评报告以促进有效学习是研究者必须考虑的问题之一。本文以促进有效学习为出发点,提出了评价反馈系统的设计模型,以及该系统中测评报告的分析流程,并在ilearning原型系统中进行实现,应用效果表明包含测评报告功能的评价反馈系统能够提高学习效果。信息时代云计算、大数据正在逐步扩展并深入到教育领域,在云计算、大数据技术背景下如何分析评价数据并为学生提供个性化反馈是下一步研究的重点。



基金项目:本文系教育部考试中心“十一五”科研规划课题“技术支持下的多元评价理论与应用研究”(项目编号:2009JKS2002)部分成果;教育部人文社会科学研究青年基金项目“云端智慧课堂教学中动态生成性内容的分析设计与应用研究”(项目编号:14YJC880071)阶段成果。作者简介:韩后,华南师范大学教育信息技术学院,博士研究生,研究方向为计算机网络与教育应用。

编辑:小西

转载自:《现代教育技术》杂志2015年Vol.25 No.2

排版、插图来自公众号:MOOC(微信号:openonline)


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多