|
本文由《现代远程教育研究》授权发布 作者： 王靖 巴安妮 吴宝锁 反馈是有效教学中不可或缺的要素，智能技术在教育领域的兴起为形成性、个性化的教学反馈带来新的可能。对相关研究进行系统性梳理能够为智能反馈系统的设计、开发与应用提供指导。从目标、作用机制和系统架构三个维度对智能教学反馈的研究现状进行分析后发现：基于智能技术的教学反馈旨在为学习者的认知、情感与态度、元认知带来积极影响，促使学习者改进当前状态和学习成效。在反馈作用机制层面，基于正确/错误响应的自动反馈通常采用基于规则的匹配模式，通过对比答案正误来触发反馈；个性化教学反馈的关键在于构建学习者模型，使教学反馈适应不同学生的特征，并结合本体论或采用多轮人机对话的方式实现教学反馈的个性化；人机协同反馈通过实现教师、学生与计算机之间的互动与互补，来提升教学反馈的有效性。在系统架构层面，反馈系统由输入层、分析层、推理生成层三个层次组成，通过一系列算法模型和反馈机制生成反馈决策，其与学习者模型、专家模型、领域模型的相互作用决定着教学反馈的精确性与适应程度。 关键词：智能技术；教学反馈；反馈目标；反馈机制；人机协同 1 引言 当前，大数据、云计算等数字技术的创新和迭代速度明显加快，数字化转型已成为世界各国发展的必然趋势（吴岩，2023）。教育数字化转型的核心阵地在于课堂，如何在课堂中使用当今蓬勃发展的智能技术，为不同特征的学习者提供差异化的学习支持，成为课堂数字化转型的重要研究议题。教学反馈作为课堂学习支持的重要形式，被视为“对学习和成就最有力的影响之一”（Hattie et al.，2007）。智能技术在教育中的应用越来越普遍，尤其是生成式人工智能的飞速发展，更是引起人们对智能技术如何与课堂深度融合、如何更好地赋能教学反馈的思考。 当前，智能技术赋能教学反馈的文献综述中，研究者主要是在智能教学系统视角下审视反馈功能的设计。例如Crow等（2018）通过综述报告如何在编程智能教学系统中集成反馈功能，尤其针对自适应反馈功能模块进行了详细论证；Mousavinasab等（2021）梳理了智能教学系统的经典架构，并统计了智能技术的应用领域（含反馈）和常见的技术方法。然而在智能技术的支持下，教学反馈到底能够解决什么问题？具体是如何产生教学效果的？在技术上如何实现？这些问题尚未得到很好的回答。基于此，研究拟在明晰反馈内涵的基础上，通过系统梳理与审视智能反馈相关研究，尝试回答以下三个研究问题：（1）智能教学反馈的作用维度和具体目标是什么？（2）智能教学反馈的作用机制和效果如何？（3）智能反馈系统的体系架构是什么？其实现的算法有哪些？ 2 反馈的内涵 当前关于反馈的内涵主要有两种观点。一种认为：反馈是一种有助于学生提高绩效的信息。Ramaprasad（1983）将反馈形容为“实际水平和参考水平之间差距的信息，用于以某种方式改变差距”。与之相似的，Hattie等（2007）将反馈概念化为一个代理人（例如，老师、同伴、书本、父母、自我、经验等）提供的关于促进一个人表现或理解方面的信息。这与课堂实际情况相符，学生接收到教师等人的反馈信息，可能产生行动上的改变。然而，并不是所有的反馈信息都能达到预期效果，必须考虑它的作用机制以及后续影响等问题。这使部分研究者将反馈概念化为一个过程，即反馈的第二种内涵。Price等（2010）指出，只有当学习者理解反馈，愿意且能够根据反馈采取行动时，反馈信息才会有效。换句话说，教育工作者需要思考如何设计反馈信息，以及如何使反馈信息逐步被学生理解、运用。正如Beaumont等（2011）的观点，反馈的价值在于将它重新定义为形成性指导过程，而不是单一的事件。Boud等（2013）同样强调，反馈需要对学习产生积极且持续的影响。 随着技术和学习理念的发展，反馈的第二种内涵越发受到研究者青睐，即反馈不仅是信息，还应包含它完整的作用过程。有效的反馈应从学习者被动接受反馈信息转变为关注他们的需求，促使学习者主动感知、理解与采纳反馈信息。智能技术工具不应仅作为反馈信息的载体和输出端，它们还应承担起“思考”反馈过程与有效性的责任。反馈系统应以学习目标和需求为出发点，模拟人类教师的持续理解与干预过程，设置特定的反馈事件，为学生带来积极、可持续发展的影响。 综上，本研究关注的教学反馈是指在教育教学中由智能系统、AI技术或者其他数字化学习软件提供的智能反馈和支持，即“计算机→学生”反馈路径，这也是后续文献搜索和综述的依据。 3 研究过程与方法 本研究采用系统性文献综述法。系统性文献综述是利用不同的数据库和多种检索与分析技术，全面而准确地掌握某一专题研究进展，并得出和检验研究结论的标准化文献研究方法（黄甫全等，2017）。本文采用的文献检索、文献评估、数据抽取与整合过程与方法如下。 1. 文献检索 本研究选定的数据库为CNKI、Web of Science、EBSCO，搜索时间限定为2012—2021年。中 文检索关键词包括“智能反馈”、“反馈”＋“智能”，文献来源限定为北大核心期刊、CSSCI期刊，学科选择“教育理论与教育管理”，在CNKI中获得文献94篇。英文检索语句为：TS＝intelligent feedback AND AB＝students，加入“学生”作为限定词是因为前期搜索时发现大量工程学文献；研究领域选择“教育教学研究”，搜索得到319篇文献。中英文文献共计413篇。此外研究还选取了International Conference on Artificial Intelligence in Education（AIED）、International Conference on Educational Data Mining（EDM）等智能教育、教育大数据领域有较大影响力的国际会议论文集，根据题目与摘要初步筛选出19篇会议文献。 2. 文献评估 为解决研究问题，本研究制定了文献纳入与排除标准，确保最终纳入文献的内容与研究高度相关，如表1所示。结合文献纳入与排除标准，通过排除重复文献、阅读文献标题与摘要、阅读全文三个步骤，对413篇期刊文献进行筛选，最终获得40篇文献。对于会议论文，采取逐一阅读全文的方式，并通过滚雪球纳入相关文献，最终得到10篇文献。二者共计获得文献50篇。整个筛选过程与结果如图1所示。 表1 文献纳入与排除标准
图1 文献筛选过程 3. 抽取与整合数据 对于纳入的50篇文献，研究编制了文献信息抽取单，从以下四个方面完成关键信息的提取：（1）文献基本信息；（2）反馈的目标与反馈的结果；（3）反馈设计的内容、流程；（4）反馈系统的架构、算法。 4 智能反馈的目标 研究从认知、情感与态度、元认知三个维度梳理了纳入文献中智能反馈的目标（如表2所示）。其中，23项研究重点关注对学生认知层面的错误纠正与学习过程指导，这可能与当下对智能反馈的需求有关。研究者期望使用精确、及时的纠正性反馈来减轻教师的负担，增强教学便利性。在情感与态度方面，研究主要探讨基于智能技术的反馈是如何激发学生学习动机、增强教学互动以及改善学生的情感体验的。在学生的元认知方面，相关研究主要涉及反馈是如何促进学生自我调节以及是如何反映学习异常的。 表2 智能反馈目标维度分类
1. 认知维度的反馈目标 认知维度的反馈目标是指借助智能技术，通过表征学生关于某一问题或知识点的理解及掌握程度，及时提供辅助性信息，帮助学生达到提升认知和能力水平的目的。认知维度的反馈存在提示解释错误、指导学习过程两种目标。 提示解释错误。智能技术赋能的教学反馈在二外写作、反思性写作、编程等领域或解决封闭式问题过程中，能为学生提供有关答案正误的信息，辅以解释或提示，帮助学生及时修正错误，减少不确定性。例如，Hung等（2015）通过基于对话的认知辅导系统为学生提供强化反馈、纠正性反馈和进一步建议；Ai（2017）在智能计算机辅助语言学习环境中根据学习者表现为其提供隐式、一般或显式的、具体的纠正反馈。在写作领域的反馈中，Kang等（2015）通过元分析发现，纠错反馈确实能够对外语写作的准确性产生积极效果，但其有效性受学习者的熟练程度、任务背景和类型等许多变量的影响，因而在设计与实施反馈时应综合考虑多重因素，最大化地发挥反馈作用。 指导学习过程。针对任务过程的反馈能够支持学习者更深入地理解他们的当前水平以及未来应如何逐步达成目标（Balzer et al.，1989），它是对学生任务选择、学习策略选择、下一步行动等方面的干预指导，通常与认知错误提示结合使用。如Bush（2021）设计的自适应有理数导师中，每个任务完成后学生会收到此次任务的正误反馈，如果连续多次任务作答错误，系统会调整教学顺序或提供面向过程的反馈，这种反馈以可交互的视频形式呈现；Tacoma等（2020）尝试将内外部反馈结合，帮助学生调整当前关于领域的知识状态以及选择合适的后续任务或学习活动。 2. 情感与态度维度的反馈目标 基于学生情感与态度在学习中的重要性，许多智能教学反馈系统将学生的情绪，如沮丧、无聊、困惑、好奇和焦虑等，纳入学习者模型。本研究认为，情感与态度维度的反馈主要存在激发学习动机、增强教学互动和改善情感体验三种目的。 激发学习动机。为学生提供的学习支持服务需要情感层面的互动，通过鼓励学生来提高其学习动机。例如，Xie等（2021）研究激励式在线对话代理，通过表达共同的情绪、缓解心理抗拒和呈现认知冲突来促使低参与度的学习者产生改变行为的动机；Rajendran等（2019）使用智能辅导系统对学生出现的错误和挫折进行外部归因，并通过提供与认知相关的鼓励、表扬等方式，增强学生的自我效能感，促进其参与学习活动。 增强教学互动。反馈的隐喻之一是作为学习者的工具（Jensen et al.，2021），其核心是学生使用反馈来学习（Chen et al.，2018）。反馈作为师生沟通的媒介，通常需要借助软件和硬件设备，通过增强交互的方式来提升学习者的课堂投入与参与感。例如，王伟东等（2015）研究中的互动反馈系统能够将学生终端的作答实时呈现于教室内的大屏幕上，便于师生及时了解学生及同伴答题情况并促进学生积极参与课堂互动；田嵩（2018）使用基于微信的移动课堂实时屏幕反馈系统，促进师生实时观点交互，提升学生对课堂的关注度与满意度，同时延伸了课堂话语空间。 改善情感体验。通过智能技术模拟人类教师的情感并回应学习者的情绪状态，是改善学习者情感体验的良好方式。Jiménez等（2018）为学生提供的反馈系统，能实现问候、积极地感叹以及道歉等情感支持，有效地延长了学生的学习时间，提升了学生愉悦程度。Bringula等（2018）尝试采用包含高兴、悲伤、惊讶和中性面部表情反馈的个人教学代理，一定程度上提升了学习者的数学绩效。 总的来说，情感与态度维度的反馈研究表现出两种趋势：一是通过增强智能技术对学习者情感态度的感知，设计相应的情感反馈机制；二是通过增强智能技术反馈的情感表达，例如包含情绪的表情、问候、关怀等，促进虚拟教师与学生的情感交互，提升系统交互友好性与学习体验。 3. 元认知维度的反馈目标 学习者的元认知是其对自己学习过程的监控。纳入文献中元认知维度的反馈主要存在促进学生自我调节和反映学习异常两个子目标。 促进自我调节。促进自我调节的反馈具备“可持续发展”的特性，它帮助学习者自我发现错误、反思原因、改进学习策略和方法等。Duffy等（2015）为具有不同成就动机的学生提供脚手架和自我调节策略，并反馈其使用的准确性和质量；Wolff等（2014）使用机器学习和可视化呈现来帮助学习者检查观点是否具有内在一致性，纠正思维中的不一致。在这个过程中，反馈系统不会给学习者提供任何明确的指示，而是引导他们反思自我表现并解决问题。 反映学习异常。学生在自主学习中常见的异常状态包括离线、沉默和滥用提示等；在协作学习中突出的异常表现为学生不积极参与，甚至不参与（张立山等，2021）。这些均可从系统监测角度对学生行为表现进行追踪并干预，例如识别学生当下行为属于任务型或非任务型，在两者间转化时及时提供鼓励或警告反馈（Sun et al.，2019）。Chiu等（2021）利用传感器技术和图像识别技术收集数据，采用贝叶斯分类网络对学生的学习状态进行推断，将即时的学习状态分析结果反馈给学生。 5 智能反馈作用机制与效果 1. 智能反馈的作用机制 对于反馈如何发挥作用这一问题，研究者们持有不同观点，这与他们秉持的学习理念及对反馈概念的理解息息相关。何克抗（2017）在前人观点的基础上总结出两种影响较大的模型：一是机械模型，二是建构主义模型。前者将学生作为反馈信息的被动使用者，后者强调学生主动使用反馈并积极建构自我的过程。从作用机制来分析纳入文献，可将其划分为基于正确/错误响应的自动反馈和智能系统中的个性化反馈。前者属于机械模型，以答案正误为反馈触发机制；后者以学习者需求为出发点，基于学习者模型，为学生提供个性化反馈。此外，随着智能技术与课堂的深度融合，人机协同是进一步提升反馈个性化和全面性的发展趋势。 （1）基于正确/错误响应的自动反馈 能够检测、纠正学生在测验、考试、写作中的认知错误的自动反馈，可以减轻教师负担，提升教学效率，因而常被运用于编程、写作以及数学、英语等学科教学之中。根据反馈信息的不同，有研究者将其总结归纳为验证反馈和应变反馈两类（Demaidi et al.，2018）。 验证反馈也被称为结果知识反馈。它只验证学生答案的正误，因此教师通常需要向专家知识库中输入题目ID和正确答案信息。学习者测试后，系统将学习者答案与标准答案进行匹配，根据结果提示正确或错误。通常采用文本、符号、语句、闪烁提示、颜色标注等方式呈现反馈信息。例如Mitrovic等（2013）使用教学系统SQL—Tutor，结合700个领域特定约束的知识库，为学习者提供“干得好”“那是正确的”类似短语形式的正反馈。然而它的作用领域与效果有限，不适用于语句、段落等含义复杂的分析和反馈。应变反馈在验证答案的基础上增添了更多辅助性信息，例如错误后显示正确答案、解释答案正确与错误的原因等。Demir（2020）在英语教学中使用智能辅导系统，采用基于约束的学生模型发现学生错误并解释原因。 由此可见，以上两类反馈采用基于规则的匹配模式，实施路径多为：由专家教师预测与总结学生可能产生的所有学习表现和错误类型，随后在系统中预存储和定义标准库、学生的错误以及相应的应答语句等，因而当系统通过匹配发现异常时，能够自动、迅速且精准地提取并推送反馈信息。然而面对多路径问题，人为列举出所有问题解决方案和学生错误类型十分困难。此外早有研究指出，学习者是影响反馈效果的重要因素之一（Esterhazy et al.，2019）。因此，在数据驱动的反馈中结合学习者特征可以使反馈产生更大的效益。 （2）智能系统中的个性化反馈 由于学习者在学习风格、动机、先验知识等方面存在差异，所以提供统一的反馈显然无法满足个性化学习需求。个性化反馈可以根据学生和任务问题的特点来调整反馈类型及反馈内容（Narciss et al.，2014）。例如，Lallé等（2020）设计的FUMA系统，可以在线检测学生行为并提取这些行为的关键特征，由此建立学习者模型。当学习者的后续学习行为“偏离”模型常规参数时，系统会为他们提供有针对性的、可行的建议——即个性化反馈。 在个性化反馈中，基于本体论的个性化反馈具有良好的应用前景。在这里本体论主要指的是领域本体，用于描述某一门课程中的核心概念及其相互关系。在基于本体论的个性化反馈系统中，系统能够基于领域本体构建起属于某个领域的知识图谱，并生成和这个图谱中知识点相关的问题，以及与这些问题对应的、不同类型的反馈。还有研究者将基于多个领域本体的个性化反馈用于跨学科教育领域。例如Demaidi等（2018）基于本体论开发了个性化反馈生成器OntoPeFeGe，集成了多种生成策略和模板来遍历领域本体并自动生成基于跨学科领域知识的问题和反馈。然而，基于本体论的个性化反馈的本质是从领域知识出发，这种反馈所依赖的知识图谱如何与学习者模型整合，构建更为全面、开放的反馈模型，是其面临的关键挑战（Belcadhi，2016）。 此外，对话反馈也能实现个性化。其通过智能系统扮演专家、激励者、导师或同伴等角色，理解学生对话内容、情绪动机变化并不断调整反馈，持续解答学生问题，辅以情感回应。对话反馈一般由信息输入、自然语言理解、对话管理、对话反馈生成等模块构成，完成从数据处理、语义与情感分析、推理、到生成对话的整个过程（Xie et al.，2021），通过一对一的答疑解惑与引导支持，提供持续的、多轮次的对话以满足学习者个性化需求。 （3）人机协同的反馈 人机协同模式下，基于智能技术的反馈包括给教师的提示和给学生的反馈（张立山等，2021）。给教师的提示是将学生状态评估结果做进一步表征，如采用可视化图表、图形符号、文字等方式呈现学生学习状态。例如，Martinez-Maldonado（2019）为教师提供手持仪表盘，实时显示学生学习参与情况和进度，方便教师为学生提供形成性反馈。如前文所述，面向学生的反馈在目标上可以是对学生认知、情感与态度、元认知等方面的调节改进；在内容上表现为对学生错误的纠正与解释、对正确答案的肯定、鼓励与归因、反思性问题与提示、对异常状态的警示等。现阶段人机协同中的反馈机制多为单向的，即人机交互以“机器→学生”的单向反馈为主（董艳等，2021）。为了增强反馈的动态性，学生与计算机之间有必要建立双向的信息传递途径。例如，学生是否以及如何使用反馈信息、学生的满意度等可以被系统采集作为后续智能系统自适应调整的依据。 总之，人机协同反馈模式下的人人、人机交互（教师—计算机—学生）还有待深入研究。但无论目标、内容上如何变化，学生在接受、理解、应用反馈上需要拥有一定的自主权，因为学习者是反馈的主体，反馈只有被学习者接受并用于改进当前学习状态时才是有效的。 2. 智能反馈的作用效果 纳入文献中，大多数经过设计的反馈实验都取得了显著成效，在一定程度上达成了反馈目标。基于正确/错误响应的自动反馈在及时纠正认知错误上有良好的应用前景和效果。在缺乏教师指导的情况下，学生可以通过智能导师系统得到足够的反馈来即时纠错，逐步完成复杂的问题解决过程。恰当的个性化反馈有助于改进学生在认知、情感与态度、元认知等各方面的表现，如Rajendran等（2019）通过激励和归因，显著减少了大学生的受挫感；Jiménez等（2018）的书面情感反馈，增强了学生的愉悦程度和学习动机，最终使得学习绩效有效提升。对于人机协同的反馈模式，许多研究在理论层面阐述了其具有的潜在优势，但相关的教学模式和应用效果均有待进一步探究。在最新的研究中，李艳等（2022）通过准实验发现，人机协同相较于仅通过教师评价反馈更能显著提升学生写作激情，初步展现了人机协同模式的作用。 综上，良好的智能反馈设计能够为学生的认知、内部心理过程、外部学习行为等带来积极的影响。但并不是所有的反馈都能带来令人满意的效果，例如，包含情感内容的反馈可能成为学生注意力分散的因素（Cabestrero et al.，2018）。Tausczik等（2013）的实验结果表明，使用实时语言反馈系统，能够有效提升群体参与，但其会导致团队绩效的降低。因此，智能反馈研究必须厘清反馈的作用机制，探究如何在真实的课堂实践中正确使用反馈。 6 智能反馈系统的架构、流程和算法 研究参考Grawemeyer等（2017）、董艳等（2021）、张立山等（2021）的相关研究和流程设计，并综合考虑学生数据的多样性、智能系统的适应性等因素，将反馈系统按照功能分为输入层、分析层、推理生成层，它们与数据库中的学习者模型、专家模型、领域模型相互作用，如图2所示。
图2 智能反馈系统的架构 1. 系统架构及工作流程 在反馈系统的输入层，学习者基于客户端与智能系统发生交互，根据不同的评估和反馈需求，利用影摄机、传感器等设备采集特定的学习者数据，并存储于数据库中。例如，关注学习者情感状态的反馈系统可以通过量表让学习者进行主观的情感自我评估（Cabestrero et al.，2018），也可以借助传感器设备，检测情感状态，包括自信、兴奋、无聊、专注、沮丧和焦虑等，获取客观的学生情感数据。 分析层内包含检测器，用于识别学生的认知、情感状态、行为表现等。首先，来自输入层的数据需要经历预处理、关键特征提取过程。例如，Lehman等（2020）提取填充词、停顿、重复词等6个关键的语音特征来判断学习者语言学习情况。在该环节中自然语言处理（Natural Language Processing，NLP）是技术重点，研究人员需要收集人类如何理解和使用语言的知识，从而在计算机和人类语言之间搭建桥梁，具体包括潜在语义分析（Sung et al.，2016）、中文分词（张登博等，2021）、句法分析（Ai，2017）等方法与技术。总之，提升计算机对自然语言的理解能力是后续进行精确分析与反馈的基础和前提。其次，学习者的关键特征经过训练完毕的算法模型的检测、分类、拟合回归等过程，被用于判断和预测学习者认知水平、情感情绪、行为异常及其他状态。例如，Arguedas等（2021）在情感教学导师中设置“认知—情感”分析模型，推断出学生认知、情绪状态的维度与范畴。分析层完成对学习者的评估后，这些数据将进入推理生成层，同时可以被纳入学习者模型以便生成个性化、适应性的反馈。 推理生成层包含一系列算法和反馈机制，其决定着反馈类型、呈现方式等。简单反馈机制的典型案例为对正误答案的反馈。当系统判定学生给出正确的答案时，将给予表扬；当答案不正确时，将提供鼓励和提示文本（Bringula et al.，2018）。以个性化、适应性反馈为需求的系统需要预设更复杂的反馈机制，并连接专家模型、学习者模型和领域模型。例如，Cabestrero等（2018）提出的学习者模型综合考虑学习者情感状态和之前的表现，从而决定接下来的问题难度等级和情感反馈类型。总而言之，推理生成层中根据分析层数据和预设的反馈机制选择恰当的反馈内容、类型，决定反馈方式、时间等要素，最终生成并输出反馈。 2. 学习者模型、领域模型和专家模型 学习者模型是智能反馈系统的核心之一，它由一系列计算机算法和学生数据构成。学生数据的类型取决于任务与问题类型和系统的具体架构。早期的自动反馈系统中，学习者模型主要以知识结构为特征，记录学习者当下认知水平。而在更具自适应的反馈系统中，学生数据包括他们的基本信息、学习风格、认知水平、行为交互、情感状态、反馈信息（已经提供的反馈、学生是否查看反馈）、学习进度等（董艳等，2021）。近年来，数据挖掘和学习分析技术为学习者模型构建提供了新思路，研究者还可以通过建立学习者数字画像，精准理解其内部心理机制和外部行为变化规律，构建更加开放、个性化的学习者模型（张涛等，2020）。正如前文提及的多项研究，学习者模型中的数据可以存储事实信息，触发反馈机制；也可以生成反馈约束规则，例如以高绩效学生的行为模式为参照，促进低绩效学生学习行为的改进（Wolff et al.，2014）；还可以将学生学习状态、进度等可视化显示并反馈给学生，例如，Tacoma等（2020）使用包含9~14个知识组件的学习者模型，将任务完成情况用进度条的方式呈现给学习者，使之明确其与目标之间的差距。 专家模型和领域模型在很多研究中没有明确的界限。为了进一步厘清反馈系统中的数据组成，本研究将教师及教育理论的特定信息集成称为专家模型，包含教师经验、教学理论与方法、问题解决方案、预设规则等内容；领域模型则是领域知识的结构化表示，包含解决相关任务所需的所有知识点，例如，数学、英语等学科的领域模型可以是其课程标准涵盖的所有章节的知识点内容及其结构关系。专家模型和领域模型的结合可以用于构建反馈机制中的约束规则，也可以以两者中的数据为驱动，匹配最相近的问题情境和已有解决方案来输出反馈。 3. 相关算法模型 反馈系统需要根据目标需求预训练一系列的算法模型，将海量关键特征进行提取、归纳、整合，识别学习者的表现并生成决策。本研究将智能反馈中的算法划分为两大类：基于静态测评的认知诊断算法与基于动态测评的知识追踪算法，如表3所示。 表3 智能反馈系统中的常见算法
基于静态测评的认知诊断算法能够客观、快速、精确地评价学习者当前状态。项目反应理论（Item Response Theory，IRT）模型是其中的经典模型，它通过特征曲线表示考生对一个测试项目作出反应的概率，在教育和心理测量领域常被用于考试测评。例如，Uto等（2020）将IRT融入基于深度神经网络的自动论文评分模型中，改善“评分者偏见”问题，增强评分的稳定性。确定性输入，噪声“与”门（Deterministic Inputs，Noisy“and”Gate，DINA）模型是一种多维离散认知诊断模型，与IRT相比，它能提供更精确、具体的评估信息。例如，Zhao等（2020）使用它的通用模型G-DINA设计英语阅读自动测试程序，并为师生提供科学、有针对性的反馈。然而，静态的认知诊断仅能反映学生当前状态。实际上，学生的认知水平随着学习过程而动态变化。 基于动态测评的知识追踪算法模型具有自动化和个性化的特点。贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）模型是传统的知识追踪模型。它将学习者的表现看作可观测变量，将学习者的知识状态看作潜在变量，并且根据当前的状态来预测学生的答题正误概率。然而，BKT并不是一个完全理想的算法模型，它难以满足大数据情境下的教育需求，研究者们对它进行了改进和拓展（Pu et al.，2020），包括动态贝叶斯网络（Dynamic Bayesian Network，DBN）、深度知识追踪（Deep Knowledge Tracing，DKT）等。DBN基于贝叶斯网络对知识组件内的先决条件、层次结构和关系进行建模，能够在一个模型中联合表示多种知识组件（概念、知识点等）来增加知识追踪表示能力。DKT在传统模型的基础上引入深度学习，它结合循环神经网络，将上一时刻的表现输出，用于预测下一刻学习者的表现情况，其在性能上取得了显著的改进（曾凡智等，2022）。 除上述算法模型外，支持向量机（Support Vector Machine，SVM）、决策树（Decision Tree，DT）、随机森林（Random Forest，RF）、贝叶斯网络（Bayesian Network，BN）、高斯朴素贝叶斯（Gaussian Naive Bayes，GaussianNB）、Logistic回归（Logistic Regression，LR）和多层感知器（Multi-Layer Perceptron，MLP）等机器学习算法也能够用于学生认知、情感动机状态的测评。例如，Hayati等（2020）使用SVM将学习者认知参与情况分为四个层次；Lee等（2021）在自动反馈系统中使用DT模拟交互变量，预测学生科学论证的不确定性归因得分等。 总之，无论采用哪种算法，其基本思路都是帮助智能系统识别学生状态，跟踪、评估学生的问题解决路径和方案，甚至预测学生未来行为表现及绩效，以作为后续生成反馈的依据。 7 总结与展望 本文系统梳理了近十年研究者们在智能技术发展背景下，为优化教学反馈做出的一系列探索工作，并针对三个研究问题，明晰了智能技术支持下反馈的目标、反馈的作用机制以及反馈系统架构等内容，主要得出以下结论： 第一，智能反馈的目标包含认知、情感与态度、元认知3个维度下7个子目标。反馈的主要作用是促使学生改进当前状态和绩效，因而智能技术支持的反馈同样以认知维度为主，将提示解释错误和指导学习过程作为主要目标；此外情感的反馈形式逐渐受到研究者青睐，期望能够激发学生学习动机、增强教学互动和改善学生的情感体验；元认知维度的反馈更加关注学生可持续发展能力的提升，希望通过反映学习异常和促进自我调节帮助学生反思改进。 第二，基于正确/错误响应的自动反馈机制通常以答案正误为反馈依据，不考虑学习者的特征和差异；智能系统中个性化反馈模式的核心在于构建学习者模型，可以结合本体论或者开展多轮人机对话实现；人机协同反馈模式是实现教师反馈与计算机反馈互补互助，提升反馈全面性的有效途径，但两者如何协同作用、分担反馈职责等问题仍需要在课堂实践中进一步探索。对于反馈效果的分析表明，即使是经过良好设计的反馈，也必须在真实课堂情境中开展实践，厘清作用机制和干扰因素，才能发挥反馈的作用。 第三，反馈系统架构分为输入层、分析层、推理生成层，它们与学习者模型、专家模型、领域模型相互作用，实现个性化反馈。首先，输入层与分析层的数据反映学习者当前认知水平、任务进展以及其他信息，不断促进学习者模型的生成与更新；学习者模型、专家模型与领域模型中的数据影响反馈决策生成，包括内容、形式、频率等，使得系统在学习者产生不同问题时能够提供个性化的反馈。学习分析过程可以采用贝叶斯知识追踪、动态贝叶斯网络、决策树等成熟的算法模型，为反馈决策提供依据。 尽管智能技术在优化教学反馈上具有巨大的潜力，但它们无法完全替代教师在教学反馈中的价值，在实际教学中两者如何最大程度地发挥各自优势，这个问题最终指向“人机协同”话题，且伴随着ChatGPT等生成式人工智能应用的介入，智能反馈的内涵将会进一步扩展，由此引发的一系列问题都值得进一步探索。基于此，未来研究中，一是可以进一步建立动态的、个性化的智能教学反馈机制，明确反馈作用路径；二是应优化智能反馈的算法模型，提升反馈的精确性。同时在课堂中可以使用已开发的智能反馈系统工具逐步开展实践，探索人机融合、协同反馈的新模式，促进计算机与教师、学生协同交互，共同提升反馈效果。 参考文献： （向上滑动阅览） [1]董艳，李心怡，郑娅峰等（2021）.智能教育应用的人机双向反馈：机理、模型与实施原则[J].开放教育研究，27（2）：26-33. [2]何克抗（2017）.对反馈内涵的深层认知和有效反馈的规划设计——美国《教育传播与技术研究手册（第四版）》让我们深受启发的亮点之二[J].中国电化教育，（5）：1-7，14. [3]黄甫全，游景如，涂丽娜等（2017）.系统性文献综述法：案例、步骤与价值[J].电化教育研究，38（11）：11-18，25. [4]李艳，刘淑君，李小丽等（2022）.人机协同作文评价能促进写作教学吗？——来自Z校拓展课的证据[J].现代远程教育研究，34（1）：63-74. [5]田嵩（2018）.开放话语课堂环境构建及实效验证[J].现代远程教育研究，30（3）：104-112. [6]王伟东，金义富（2015）.一对一数字化互动反馈智能课堂学习环境研究[J].中国电化教育，342（7）：55-59. [7]吴岩（2023）.打造引领世界高等教育数字化发展风向标——《无限的可能：世界高等教育数字化发展报告》序言一[J].教育中国信息化，29（1）：3-4. [8]曾凡智，许露倩，周燕等（2022）.面向智慧教育的知识追踪模型研究综述[J].计算机科学与探索，16（8）：1742-1763. [9]张登博，刘明（2021）.智能反思写作反馈系统的设计与应用[J].现代教育技术，31（11）：96-103. [10]张立山，冯硕，李亭亭（2021）.面向课堂教学评价的形式化建模与智能计算[J].现代远程教育研究，33（1）：13-25. [11]张涛，张思（2020）.教育大数据挖掘的学习者模型设计与计算研究[J].电化教育研究，41（9）：61-67. [12]Ai，H.（2017）.Providing Graduated Corrective Feedback in an Intelligent Computer-Assisted Language Learning Environment[J].ReCALL，29（3）：313-334. [13]Arguedas，M.，&Daradoumis，T.（2021）.Analysing the Role of a Pedagogical Agent in Psychological and Cognitive Preparatory Activities[J].Journal of Computer Assisted Learning，37（4）：1167-1180. [14]Balzer，W.K.，Doherty，M.E.&O’Connor，R.，Jr.（1989）.Effects of Cognitive Feedback on Performance[J].Psychological Bulletin，106（3）：410-433. [15]Beaumont，C.，O’Doherty，M.，&Shannon，L.（2011）.Reconceptualising Assessment Feedback：A Key to Improving Student Learning？[J].Studies in Higher Education，36（6）：671-687. [16]Belcadhi，L.C.（2016）.Personalized Feedback for Self Assessment in Lifelong Learning Environments Based on Semantic Web[J].Computers in Human Behavior，55：562-570. [17]Boud，D.，&Molloy，E.（2013）.Rethinking Models of Feedback for Learning：The Challenge of Design[J].Assessment&Evaluation in Higher Education，38（6）：698-712. [18]Bringula，R.P.，Fosgate Jr，I.C.O.，&Garcia，N.P.R.et al.（2018）.Effects of Pedagogical Agents on Students’Mathematics Performance：A Comparison Between Two Versions[J].Journal of Educational Computing Research，56（5）：701-722. [19]Bush，J.B.（2021）.Software-Based Intervention with Digital Manipulatives to Support Student Conceptual Understandings of Fractions[J].British Journal of Educational Technology，52（6）：2299-2318. [20]Cabestrero，R.，Quirós，P.，&Santos，O.C.et al.（2018）.Some Insights into the Impact of Affective Information When Delivering Feedback to Students[J].Behaviour&Information Technology，37（12）：1252-1263. [21]Chen，X.，Breslow，L.，&DeBoer，J.（2018）.Analyzing Productive Learning Behaviors for Students Using Immediate Corrective Feedback in a Blended Learning Environment[J].Computers&Education，117：59-74. [22]Chiu，C.K.，&Tseng，J.C.（2021）.A Bayesian Classification Network-Based Learning Status Management System in an Intelligent Classroom[J].Educational Technology&Society，24（3）：256-267. [23]Crow，T.，Luxton-Reilly，A.，&Wuensche，B.（2018）.Intelligent Tutoring Systems for Programming Education：A Systematic Review[C]//ACE 2018：20th Australasian Computing Education Conference.New York：Association for Computing Machinery：53-62. [24]Demaidi，M.N.，Gaber，M.M.，&Filer，N.（2018）.OntoPeFeGe：Ontology-Based Personalized Feedback Generator[J].IEEE Access，6：31644-31664. [25]Demir，Ü.（2020）.The Effect of Using Negative Knowledge Based Intelligent Tutoring System Evaluator Software to the Academic Success in English Language Education[J].Pedagogies：An International Journal，15（4）：245-261. [26]Duffy，M.C.，&Azevedo，R.（2015）.Motivation Matters：Interactions Between Achievement Goals and Agent Scaffolding for Self-Regulated Learning Within an Intelligent Tutoring System[J].Computers in Human Behavior，52：338-348. [27]Esterhazy，R.，&Damsa，C.（2019）.Unpacking the Feedback Process：An Analysis of Undergraduate Students’Interactional Meaning-Making of Feedback Comments[J].Studies in Higher Education，44（2）：260-274. [28]Grawemeyer，B.，Mavrikis，M.，&Holmes，W.et al.（2017）.Affective Learning：Improving Engagement and Enhancing Learning with Affect-Aware Feedback[J].User Modeling and User-Adapted Interaction，27：119-158. [29]Hattie，J.，&Timperley，H.（2007）.The Power of Feedback[J].Review of Educational Research，77（1）：81-112. [30]Hayati，H.，Khalidi Idrissi，M.，&Bennani，S.（2020）.Automatic Classification for Cognitive Engagement in Online Discussion Forums：Text Mining and Machine Learning Approach[C]//Bittencourt，I.I.，Cukurova，M.，&Muldner，K.et al.（Eds.）.Artificial Intelligence in Education：21st International Conference.Morocco：AIED 2020：114-118. [31]Hung，W.C.，Smith，T.J.，&Smith，M.C.（2015）.Design and Usability Assessment of a Dialogue-Based Cognitive Tutoring System to Model Expert Problem Solving in Research Design[J].British Journal of Educational Technology，46（1）：82-97. [32]Jensen，L.X.，Bearman，M.，&Boud，D.（2021）.Understanding Feedback in Online Learning-A Critical Review and Metaphor Analysis[J].Computers&Education，173：104271. [33]Jiménez，S.，Juárez-Ramírez，R.，&Castillo，V.et al.（2018）.A Feedback System to Provide Affective Support to Students[J].Computer Applications in Engineering Education，26（3）：473-483. [34]Kang，E.，&Han，Z.（2015）.The Efficacy of Written Corrective Feedback in Improving L2 Written Accuracy：A Meta-Analysis[J].The Modern Language Journal，99（1）：1-18. [35]Lallé，S.，&Conati，C.（2020）.A Data-Driven Student Model to Provide Adaptive Support During Video Watching Across MOOCs[C]//Bittencourt，I.I.，Cukurova，M.，&Muldner，K.et al.（Eds.）.Artificial Intelligence in Education：21st International Conference.Morocco：AIED 2020：282-295. [36]Lee，H.S.，Gweon，G.H.，&Lord，T.et al.（2021）.Machine Learning-Enabled Automated Feedback：Supporting Students’Revision of Scientific Arguments Based on Data Drawn from Simulation[J].Journal of Science Education and Technology，30：168-192. [37]Lehman，B.，Gu，L.，&Zhao，J.et al.（2020）.Use of Adaptive Feedback in an App for English Language Spontaneous Speech[C]//Bittencourt，I.I.，Cukurova，M.，&Muldner，K.et al.（Eds.）.Artificial Intelligence in Education.Morocco：AIED 2020：309-320. [38]Martinez-Maldonado，R.（2019）.A Handheld Classroom Dashboard：Teachers’Perspectives on the Use of Real-Time Collaborative Learning Analytics[J].International Journal of Computer-Supported Collaborative Learning，14（3）：383-411. [39]Mitrovic，A.，Ohlsson，S.，&Barrow，D.K.（2013）.The Effect of Positive Feedback in A Constraint-Based Intelligent Tutoring System[J].Computers&Education，60（1）：264-272. [40]Mousavinasab，E.，Zarifsanaiey，N.，&Niakan Kalhori，S.et al.（2021）.Intelligent Tutoring Systems：A Systematic Review of Characteristics，Applications，and Evaluation Methods[J].Interactive Learning Environments，29（1）：142-163. [41]Narciss，S.，Sosnovsky，S.，&Schnaubert，L.et al.（2014）.Exploring Feedback and Student Characteristics Relevant for Personalizing Feedback Strategies[J].Computers&Education，71：56-76. [42]Price，M.，Handley，K.，&Millar，J.et al.（2010）.Feedback：All That Effort，but What Is the Effect？[J].Assessment&Evaluation in Higher Education，35（3）：277-289. [43]Pu，S.，Yudelson，M.，&Ou，L.et al.（2020）.Deep Knowledge Tracing with Transformers[C]//Bittencourt，I.I.，Cukurova，M.，&Muldner，K.et al.（Eds.）.Artificial Intelligence in Education.Morocco：AIED 2020：252-256. [44]Rajendran，R.，Iyer，S.，&Murthy，S.（2019）.Personalized Affective Feedback to Address Students’Frustration in ITS[J].IEEE Transactions on Learning Technologies，12（1）：87-97. [45]Ramaprasad，A.（1983）.On the Definition of Feedback[J].Behavioral Science，28（1）：4-13. [46]Sun，J.C.Y.，Yu，S.J.，&Chao，C.H.（2019）.Effects of Intelligent Feedback on Online Learners’Engagement and Cognitive Load：The Case of Research Ethics Education[J].Educational Psychology，39（10）：1293-1310. [47]Sung，Y.T.，Liao，C.N.，&Chang，T.H.et al.（2016）.The Effect of Online Summary Assessment and Feedback System on the Summary Writing on 6th Graders：The LSA-Based Technique[J].Computers&Education，95：1-18. [48]Tacoma，S.，Drijvers，P.，&Jeuring，J.（2020）.Combined Inner and Outer Loop Feedback in An Intelligent Tutoring System for Statistics in Higher Education[J].Journal of Computer Assisted Learning，37（2）：319-332. [49]Tausczik，Y.R.，&Pennebaker，J.W.（2013）.Improving Teamwork Using Real-Time Language Feedback[C]//CHI：Conference on Human Factors in Computing Systems.New York：Association for Computing Machinery：459-468. [50]Uto，M.，&Okano，M.（2020）.Robust Neural Automated Essay Scoring Using Item Response Theory[C]//Bittencourt，I.I.，Cukurova，M.，&Muldner，K.et al.（Eds.）.Artificial Intelligence in Education：21st International Conference.Morocco：AIED 2020：549-561. [51]Wolff，A.，Mulholland，P.，&Zdrahal，Z.（2014）.Using Machine-Learning and Visualisation to Facilitate Learner Interpretation of Source Material[J].Interactive Learning Environments，22（6）：771-788. [52]Xie，T.，Liu，R.，&Chen，Y.et al.（2021）.MOCA：A Motivational Online Conversational Agent for Improving Student Engagement in Collaborative Learning[J].IEEE Transactions on Learning Technologies，14（5）：653-664. [53]Zhao，H.，Wang，W.，&Huang，Y.（2020）.A Cognitive Analysis of An English Reading Test Through the G-DINA Model[C]//2020 2nd International Conference on Applied Machine Learning and Data Science.UK：IOP Publishing：1629：12-37. 作者简介： 王靖，博士，副教授，硕士生导师，江南大学江苏高校“互联网 教育”研究基地（江苏无锡214122）； 巴安妮，硕士研究生，江南大学江苏高校“互联网＋教育”研究基地（江苏无锡214122）； 吴宝锁，助理研究员，江南大学教务处（江苏无锡214122）。 引用：王靖，巴安妮，吴宝锁（2023）.智能教学反馈的目标、机制与架构[J].现代远程教育研究，35（3）：102-112. 基金项目：国家社会科学基金教育学青年课题“跨学科教育中的协同概念转变研究”（CCA190260）；江苏省教育科学“十四五”规划2021年度课题“学习评价改革对大学生学习收获影响机制研究”（D/2021/01/46）。
|
|
|
来自： 愚然楼 > 《反思/评价/反馈/作业》
