多媒体学习研究的未来：基础、挑战与趋势

来源：MOOC

 

本文由《现代远程教育研究》杂志授权发布

作者：郑旭东、吴秀圆、王美倩

 

摘要

多媒体学习科学研究历经数十年的努力，其认知理论和教学设计理论已基本成熟，并被有效应用于实践。然而，从建立一门扎根于理论的循证科学这一自我期许来看，它仍然面临诸多挑战：多媒体学习认知理论模型中学习者对材料进行选择、组织与整合的具体机制究竟是什么？实验室情境下得出的多媒体教学设计原则，能否被平滑地迁移和应用于复杂多变的课堂教学实践？随着新的学习理论和研究方法的不断涌现，多媒体学习科学研究从具身认知理论、基于设计的研究方法论和会话分析方法中汲取未来发展的思想资源：具身认知强调认知、身体与环境的交互，为多媒体学习认知加工过程提供新的分析视角；基于设计的研究视“实践的逻辑”为最高准则，将实验场所从实验室转到现实教学情境，为扩展实验室研究严格的边际条件提供新的方法论指导；会话分析强调多角度、长期的课堂交互研究，为多媒体学习研究扩展到真实的课堂教学实践提供有效的方法。

关键词：多媒体学习；认知神经科学；具身认知；基于设计的研究；会话分析；梅耶

自20世纪70年代梅耶开启多媒体学习的科学研究以来，历经数十年的努力，其认知理论和教学设计理论已基本成熟，并被有效应用于实践。然而，从建立一门扎根于理论的循证科学这一自我期许来看，它仍然面临诸多挑战。例如，构建多媒体学习科学体系所依赖的三大假设是否有来自认知神经科学之基础研究的经验证据支持？多媒体学习认知理论模型中学习者对材料进行选择、组织与整合的具体机制究竟是什么？实验室情境下得出的多媒体教学设计原则，能否被平滑地迁移和应用于复杂多变的现实课堂教学实践？这些都是多媒体学习科学研究在未来必须面对并做出回答的问题。值得我们关注的是，具身认知等新的认知理论以及基于设计的研究和会话分析等新的方法论与方法，可能会影响多媒体学习科学研究的未来走向。

一、多媒体学习认知理论的三大假设是否有来自认知神经科学的经验证据支持

1.与双重通道假设相关的基础研究

双重通道假设是指人对视觉表征和听觉表征的材料拥有独特的信息加工通道：当信息以图像或文字的形式呈现给眼睛时，人开始在视觉通道加工信息；当信息以声音的形式呈现给耳朵时，人开始在听觉通道加工信息。双重通道是梅耶多媒体学习科学理论赖以构建的重要前提假设之一，其科学性直接决定了多媒体学习认知理论模型的科学性，进而决定了整个多媒体学习理论体系的科学性。目前，神经生理学和神经成像研究开始逐渐关注双重通道在自然状态下所表现出来的特定反应。（文东等，2013）有学者通过记录观众在观看电影片段过程中的脑磁图标记（MEG）数据，对皮质反应阶段刺激动力学关键方面的紧密耦合进行了探索。（Luo et al.，2010）结果表明：听觉皮层不仅可以跟踪听觉刺激，也可以在某些方面反映视觉信号；同样，视觉皮层不仅可以有效感知遵循视觉属性的刺激，也可以显示灵敏的听觉场景。这就验证了神经生理学早期跨通道相位调制体系的存在。认知神经科学的基础研究还表明：大脑可以通过合并不同感觉通道的信息来提高反应的速度和精度。卡拉·埃文斯（Karla Evans）和安妮·特利斯曼（Anne Treisman）发现，听觉特征的音高与视觉特征的垂直位置、大小和空间频率等是相互映射的。（Evans et al.，2010）另外还有学者发现，人类视听觉通道的能力不是固定不变的，而是持续发展的，它并不局限于早期的关键生命周期，也可以在成年期通过实践得到改进。（Huyck et al.，2011）

2.与容量有限假设相关的基础研究

基于工作记忆模型，梅耶为多媒体学习的科学研究建立了第二个假设——容量有限假设，即人在每个通道中一次加工的信息数量是有限的。由于人类认知加工过程分为视觉和听觉双通道，工作记忆也分为视觉工作记忆和语音工作记忆两个部分。研究视觉工作记忆和语音工作记忆的容量及其对工作记忆的影响，成为为容量有限假设寻求基础研究之经验支持的关键步骤。（Fougnie et al.，2011）认知神经科学的研究表明：不同个体和群体的视觉记忆容量存在显著差异，这不仅表现在存储容量上，也表现在处理变化信息的能力上。（Luck et al.，2013）视觉工作记忆容量是制约视觉注意力的关键因素，工作记忆编码及其注意力的有效维持对视觉对象的认知和行动具有重要影响。人的视觉加工过程不仅仅是视觉信号的输入，更是个体通过原有知识经验对输入的视觉信号进行选择和处理的过程。（Chun，2011）在语音工作记忆容量有限的研究中，Mainela-Arnold等（2010）曾指出，儿童的听觉感知及语音工作记忆都存在个体差异，而有效的早期训练能够从整体上提高他们的语音工作记忆。McGettigan等人（2011）通过实验对工作记忆与语音处理系统之间的关系进行了探索，肯定了Mainela-Arnold等人的观点，认为对早期儿童进行相应的语音训练，可以有效提高他们的语音工作记忆容量，并促进其认知加工。（McGettigan et al.，2011）

3.与主动加工假设相关的基础研究

主动加工假设是在生成学习理论的基础上提出的，它与人们通常所说的被动加工观点相对应。被动加工观点认为，人会尽可能地将更多信息加入到自己的记忆中，以便对所需要的信息进行提取。主动加工观点则认为，人为了将新知识与已有经验建立起一致的心理表征，会主动参与认知加工过程。（理查德·E.迈耶，2006）这一过程包括形成注意、组织新进入的信息和将新进入的信息与原有经验进行整合。学习者的主动加工发生在他们对新进入的知识进行认知加工的过程中。它能够帮助学习者通过新材料与原有经验的相互作用建立起一致的心理表征，从而实现对新知识的理解与掌握。Oakes等人（1994）通过两组对比实验研究了婴儿对观察对象的持续注意情况。结果发现，儿童对复杂和新颖的事物会表现出更大的好奇和注意。婴儿的这种对新颖事物的态度和注意力集中的特点有力地证明了主动加工假设。在多媒体学习中，多样化的资源呈现能够为学习者提供更完整的知识表述和更深层次的知识领域，从而更好地促进其主动加工。Vander Meij等人（2011）指出，多媒体学习环境的设定就是要通过提供多样化的学习资源支持学习者对复杂内容的处理，从而使其对学习材料进行更好的加工和处理。他们比较了提供教学支持及指定自解提示的科学探究与提供教学支持和一般自解提示对学习者主动加工的影响。结果表明：接受指定提示的学习者在知识获取中取得了更好的效果。

总体而言，来自认知心理学尤其是认知神经科学之基础研究的经验证据为双重通道假设、容量有限假设和主动加工假设提供了科学而有力的支持，为多媒体学习的认知理论奠定了科学的基石。我们相信，伴随着认知神经科学研究的不断深入，未来会有越来越多来自于基础研究的经验证据为这三大假设提供支持，不断丰富多媒体学习研究的科学基础。

二、多媒体学习认知理论模型中选择、组织与整合学习材料的具体机制究竟是什么

多媒体学习的认知理论模型是多媒体学习科学体系的关键组成部分。它为我们揭示了发生在学习者感觉记忆、工作记忆及长时记忆中的五个认知加工过程：从呈现的文本或解说中选择相关语词；从呈现的插图中选择相关图像；将所选择的语词进行组织以形成连贯的语言表征；将所选择的图像进行组织以形成连贯的视觉表征；将语言表征和视觉表征与学习者的先前知识进行整合。（王建中等，2013）这五个认知加工过程涉及三个关键步骤：选择相关材料、组织选择的材料，以及把选择的材料与已有知识进行整合。（Mayer，1996）“选择”（Select）、“组织”（Organize）和“整合”（Integrate）构成了梅耶解释多媒体学习认知加工机制之SOI模型中的关键概念与范畴。梅耶用这三个术语来解释发生在多媒体学习中的知识建构。他对“选择”、“组织”和“整合”曾有过简明的描述：当学习者发现呈现材料中有合适的语词和图像时，就会将其从外部带入个体认知系统的工作记忆，这时对相关材料的选择就发生了；对相关材料的组织是在认知系统中，将已经选择的材料与其各成分之间建立起结构关系；整合过程则是将选择的新材料与学习者已有的知识经验建立起联结。

梅耶虽然通过多媒体学习的认知理论模型和知识建构的SOI模型指出了对学习材料进行选择、组织和整合的整个过程，但却没有对发生在学习者认知过程中的选择、组织与整合的具体机制进行详尽阐述。梅耶自己也认为，促进学习者有意义学习的关键就是教给他们相应的学习策略，即如何对学习材料进行合理地选择、组织和整合，从而达到知识掌握与能力发展的目的。然而，他还没有在科学层面上真正揭示出选择、组织与整合的具体机制。因此，对SOI模型中知识建构的过程（即学习者对材料进行选择、组织与整合的内部心理机制）进行深入剖析，将成为多媒体学习认知理论未来必须解决的关键问题。

我们认为，多媒体学习认知理论模型只有打开选择、组织尤其是整合的“黑箱”，才能从根本上揭示学习者的内部认知加工过程，从而在选择合适的多媒体资源、提供合理的学习策略指导的基础上，有效促进学习者的认知加工和知识建构。只有深入研究学习者对材料的选择过程，揭示学习者组织学习材料的原则与方法，并探索他们将所选材料带入认知系统的整个过程，才能对多媒体资源的内容与呈现方式进行恰当安排，从而更好地促进学习者对呈现材料的认识。研究学习者对材料的组织过程及实质能够有效促进他们在为所选材料构建的语言模型与图像模型之间建立起一致性，以帮助他们将学习材料组成恰当、合理、一致的因果链。在研究学习者材料选择与组织过程的基础上，如果能够打开知识整合的“黑箱”，则可以真正揭示发生在学习者认知加工过程中新知识与已有经验之间进行整合的内部心理机制，从而在教学上为其提供恰当的学习策略并有效促进其认知加工的顺利完成。

梅耶的多媒体学习认知理论模型及知识建构的SOI模型是对学习者认知加工过程的初步描述，对我们认识学习者的多媒体学习过程并恰当选择呈现材料具有重要意义。但是，在这两者的基础上需要借助认知神经科学的力量深入“黑箱”，对学习者对学习材料进行选择、组织尤其是整合的内部心理机制进行深入考察，并为其提供经验证据的支持，以使多媒体学习的认知理论模型变得更加完善，从而在教学上发展各种措施来有效促进多媒体教学材料的选择、组织与呈现，为学习者提供最恰当合理的学习材料和学习策略指导，切实促进他们对知识的选择、组织与整合。这也是把多媒体学习研究真正打造成一门扎根于理论的循证科学必须解决的问题。除了在认知神经科学的基础研究这一层面上对选择、组织与整合的具体机制进行揭示之外，如何对三者之间的关系进行理论概括与描述，也是多媒体学习认知理论研究不断走向深入的关键。

三、多媒体教学设计原则能否被平滑地迁移和应用于真实的教学实践中

多媒体学习是一门扎根于理论的循证科学。（郑旭东等，2013）梅耶及其同事在多年的研究中一直走着循证实践（Evidence-Based Practice）的道路，即通过大量的实验来支撑多媒体学习理论的不断发展与完善。这一点尤其体现在多媒体教学设计原则的研究上。例如，他们通过实验提出了多媒体原则、空间接近原则、时间接近原则、一致性原则、通道原则、冗余原则、个体差异原则等。（严莉等，2013）但问题是，这些在简单的实验室情境中得到循证的多媒体教学设计原则能否被平滑地迁移和应用于真实场景中复杂多变的教学实践？除了梅耶及其同事已揭示的那些约束性条件之外，它还面临哪些需要解决的问题呢？

1.多媒体原则

虽然我们已经有来自对比实验研究的明确证据证明以多媒体形式呈现的材料可以有效促进学习，但是针对不同类型的学习者和不同的教学目标，什么样的多媒体呈现类型最好还不得而知。（Clark et al.，2011）另外，多媒体原则还存在其他一些悬而未决的问题：例如，多媒体教学材料可以是动态的，也可以是静态的，但什么情况下呈现动态画面比使用静态画面效果更好？这值得我们进一步探索。又如，对多媒体学习效果的测量大多安排在学习之后立即进行，但对这一效果的持久性研究还很少见，而学生对知识的持久掌握才是教学的最终目的。此外，多媒体资源的设计是耗时耗力的，这需要我们对多媒体设计内容的成本效益进行精确计算。

2.时空接近原则

多媒体教学的时空接近原则包括两方面内容：语词与画面临近呈现与隔开呈现相比，前者能使学习者学得更好；对应的语词与画面同时呈现与继时呈现相比，前者产生的效果更好。多媒体学习中应用时空接近原则的目的是通过合理安排语词和画面呈现的位置与时间，有效促进学习者在多种材料之间建立起关联，从而实现对知识的理解与掌握。但是，在多媒体教学时空接近原则的研究中，还存在以下问题值得探究：一是对设定语词与画面时应该注意的细节没有进行深入的探讨；二是对于打印文本与解说词表现方式的研究有待进一步完善；三是需要对解说词的声音特点给学习者学习兴趣和认知过程带来的影响进行更深层次的研究，以选择最佳的声音类型来提高学习者的学习效果。

3.通道原则

通道原则是指在多媒体信息的呈现中，用声音形式呈现的语词比用打印文本形式呈现的语词对学习者学习效果的影响更为正面。在多媒体学习中应用通道原则的目的是通过视觉和听觉双通道呈现信息，以降低学习者的认知负荷，提高其学习效果。但是，双通道并非任何时候都能够提高学习者的认知加工水平。梅耶曾指出，打印文本也能有效促进学习者的知识建构，但什么时候使用打印文本与画面并存的形式对学习者的学习更有效，还是一个需要深入研究的问题。同时，将打印文本以标签的形式进行总结是否有效，什么时候用声音无效，怎样消除屏幕文本的负面影响，以及长期训练的课程中是否可以降低屏幕文字的负面影响等，都是影响通道原则有效应用的关键。

4.冗余原则

多媒体教学设计的冗余原则指出，学生学习由“动画+解说”组成的学习材料比学习由“动画+解说+字幕”所组成的学习材料效果更佳。但是在某些情况下，冗余原则不起作用。这需要我们进行深入探讨。从学习者角度来看，在带有总结性语句的画面中加入字幕对第二语言及较低先前知识经验的学习者是否不存在冗余问题并能有效促进他们的认知加工过程？从学习材料来看，当字幕作为技术术语、公式或简短标题出现时，是否不存在冗余现象并能够有效促进学习者的学习？从呈现形式来看，当字幕的呈现速度很慢，或者字幕的呈现受学习者控制，或者当叙述内容出现在字幕之前，学习者已经对关键内容的相关名词和典型特点有所了解时，是否就不存在冗余现象并能够有效促进学习者的知识建构？这些都是值得我们进一步思考的问题。

5.一致性原则

一致性原则是指当无关材料被排除而不是被包括时，学生的学习效果更好。梅耶本人通过对比实验证明了它的多重优势。但是，它是否能够被无改变地直接应用于现实的教学实践，还有待我们进一步验证。一方面，对这一原则的研究多数是以发生在实验室情境中的简短课程为证据，它是否适合于真实情境中的长期教学还有待检验；另一方面，对学习者的特点与一致性原则给教学效果带来的影响之间的关系没有进行深入研究。此外，在对一致性原则进行的实验研究中，研究对象多为缺乏先前知识与经验的学习者。因此，通过这些实验得出的结论是否同样适用于具有较高水平先前知识与经验的学习者还需要我们进一步思考。（Kalyuga，2005）梅耶等（2005）通过实验就发现，增加细节化的内容对初学者会产生负面影响，但却能有效促进具有较高水平先前知识与经验的学习者的认知加工。

6.个体差异原则

梅耶指出：“多媒体教学材料的设计效果对知识水平较低的学习者来说，要强于知识水平较高的学习者；对空间能力较高的学习者来说，要好于空间能力较低的学习者。”（理查德·E.迈耶，2006）尽管个体差异原则在多数情况下有效，但什么时候会产生反作用，以及如何避免这一情况还尚待研究。如果说对于个体差异原则的最好处理方式是针对不同的学生应用教学代理，以根据他们的自身特点选择合适的内容呈现方式、学习策略指导和支持，那么教学代理的类型、特点及其对学习者知识建构过程的影响，则需要我们进一步研究和探讨。另外，对于特定类型的学习者能否在个体差异原则的指导下获得更好的学习效果，也不得而知。例如，新手与专家型学习者之间、关注学习内容与关注自身需求的学习者之间，以及不同性别学习者之间是否存在差别，都是影响我们合理应用个体差异原则的关键因素。

四、多媒体学习研究能够从哪些新理论与新方法中汲取未来发展的思想资源

在多媒体学习科学研究不断走向成熟的同时，各种有关认知的新理论层出不穷，学习研究的方法论也在经历一场脱胎换骨的创新，各种新的学习研究方法不断涌现，为未来深化多媒体学习科学研究提供了潜在资源。其中最具有代表性的首推具身认知理论、基于设计的研究方法论和会话分析方法。

1.具身认知：认知、身体与环境的交互

具身认知（Embodied Cognition）是一种不同于传统认知科学的新理论，它强调身体在认知过程中的关键作用及认知、身体与环境交互的重要性。具身认知认为，人的认识方式不是孤立存在的，而是受身体和环境的影响；人对客观世界的认识不是一种“映像”，而是身体与感觉运动系统共同塑造的结果。传统的认知心理学将认知比喻为计算机对抽象符号的加工和运算，是运行在大脑这一“硬件”上的“软件”或“程序”。（叶浩生，2010）具身认知则认为，认知是被身体及其活动方式塑造出来的，它不是一个运行在身体硬件上的“心智程序软件”，而是与身体和环境共同构成了一个相互作用的统一体。（Shapiro，2007）具身认知将认知过程看作是情境性的，把认知工作内置于环境中，将环境看成是认知系统的一部分，认知、身体与环境之间紧密相连、不可分割。与传统的认知心理学不同，认知的具身观点将认知视为包括大脑在内的全身心参与的过程，认知是具身的，而身体又是嵌入环境的。因此，认知、身体和环境共同组成了一个动态的统一体，如下图所示。

受传统“身心二元论”的影响，多媒体学习的认知理论强调学习者对信息的加工，即学习者对不同类型呈现材料（语词和画面）的选择、组织与整合，而推理、分类和记忆等高级认知过程则依赖于抽象的言语符号。近年来，认知科学、哲学和语言学的学者在研究中逐渐意识到，认知的表征和操作是受身体影响并植根于特定物理环境的，是具身的，它受身体和环境的共同作用。将“具身认知”的观点引入多媒体学习研究中，能帮助我们在深入剖析学习者认知过程的同时，加强对认知、身体与环境相互作用的认识，从而在对多媒体学习的认知加工过程——选择、组织与整合——进行考察时做出不同于传统认知科学视角的新解释，进而使整个多媒体学习科学体系表现出与传统认知科学不同的理论气质。从实践的层面来看，具身认知观点的引入让我们在对学习材料进行呈现时，充分考虑学习者各感官体验、学习环境及认知的相互作用，通过合理的资源呈现与环境设计有效促进学习者的“具身认知”，从而使学习者在认知、身体与环境的交互作用中提高学习效果。

2.基于设计的研究：真实情境下理论与实践的共同发展

以桑代克、斯金纳等为代表的心理学家对学习的科学探索多以提出假设、验证假设的实验室研究为主，强调对变量进行控制以及精确的定量测量的重要性。这种变量控制与操作下的实验室研究和鲜活的课堂教学以及学习实践之间存在显著差别，难以将经过简单化处理的实验室研究中得出的结论直接应用于课堂教学，因为真实的教学与学习情境往往不符合这些结论应用的边际条件。20世纪80年代中期，安·布朗（Ann Brown）等人引入杜威“将实验室搬入教室”的主张，吸收和借鉴皮亚杰开创的临床观察的研究方法，在“互惠式教学”的研究中开始尝试突破传统实验室研究的局限，将维果茨基有关对话和支架的理论应用于课堂教学，引入社会文化理论的概念，尝试改造传统的实验研究方法，以达到在实际教学情境中对学习进行研究的目的，开创了“基于设计的研究”这一学习研究的新方法论，并深刻改变了20世纪90年代以来教育与心理研究的现实景观。这种充分考虑真实情境的“基于设计的研究”将“实践的逻辑”而非“发现的逻辑”作为最高准则，以解决教学问题和学习问题为首要目的，并在这一过程中发展理论，从而实现研究与实践之间的相互促进。

受传统的学习与认知研究中以“发现的逻辑”为导向的所谓“科学的”研究方法之影响，梅耶等人通过提出假说、验证假说的传统实验室研究对多媒体学习的认知理论和多媒体教学的设计原则进行了探索与建构。但是，这种以分析还原为基础、集中于少数变量控制的实验室固定程序研究，难以实现对学习者真实情境下学习情况的全面了解，导致其提出的一系列多媒体教学设计原则的应用都具有苛刻的约束性条件。而要突破这一点，只有引入新的研究方法论——基于设计的研究，将研究场所从实验室转入鲜活而丰富的现实教学情境，在综合考虑各方面因素的过程中，通过教师、学生、研究者的共同参与，对复杂的教学实践进行深入探索。这一方面可以大大解除实验室研究施加在多媒体教学设计原则身上的那些苛刻的约束性条件，同时还可以丰富和发展多媒体学习的认知理论，从而实现多媒体学习科学研究与实践改进的一体化。

3.会话分析：多角度、长期的课堂交互研究

会话分析（Conversation Analysis）源于人际交往的方法论，旨在通过多个视角对互动双方进行研究，揭示会话的基本结构特点，描述并解释会话参与者理解、控制和建构会话的能力。（Vanderveken，1992）在会话分析中，我们可以从不同视角对会话双方的交互行为进行研究。在教育领域内，会话分析常常被用于对教学中不同对象的交互行为进行多角度分析。学习科学的领军人物Pea曾指出，建立在物质和现实世界的认知活动分析研究逐渐增多，对理论研究人员和实践研究人员来说，架起宏观社会文化学习理论研究与基于特定学科领域的个体学习活动微观分析之间的桥梁，成为当前学习研究面临的最大挑战之一。（Pea，1993）科学思维中个体观念的转变与发展是这一类研究中的一个很好案例。会话分析为我们提供了一种新的社会文化描述与分析框架，使我们通过对对话、协商与合作的研究，实现对人的概念转变的深入认识，为社会文化理论发展及新型学习理论的演进提供重要支持。

如果说基于设计的研究这一方法论能够将多媒体学习的研究从实验室推向鲜活、真实的教学实践，那么会话分析则为研究这种具有高度复杂性的教学实践提供了有效的方法。在多媒体学习研究中引入会话分析，可以在将研究场所从实验室搬到课堂的基础上，通过多角度、长期性的交互研究，准确把握受外界不确定因素干扰的教学实践。会话分析对多媒体学习研究的支持主要表现在两个方面：一是将研究场所从实验室转向真实的教学环境，会使研究受到多种不确定因素的干扰，而会话分析通过多角度的分析，能够有效降低这些不确定因素对研究的影响。二是要真正确定多媒体教学设计原则能否有效促进教学实践，需要我们对学生的学习结果进行长期的追踪研究，而会话分析为我们提供了一种简单且有效的方法和视角。

基金项目：湖北省教育科学“十二五”规划2012年度立项课题“基于全媒体的基础教育数字资源的组织与推送模式研究”（2012B008）；华中师范大学中央高校基本科研业务费项目“赛博基础设施促进研究型大学变革的理论与策略研究”（120002040679）。

作者简介：郑旭东，博士，副教授；吴秀圆、王美倩，硕士研究生，华中师范大学教育信息技术学院（湖北武汉430079）。