从模式中可以看出，多媒体学习包括三个过程：选择、组织和整合。首先，学习者需要注意经过眼、耳进入信息加工系统的视觉和言语信息中的有关内容（即选择过程）。从呈现的言语信息中，学习者选择重要的词语进行言语表征（即选择文本），其结果是建构命题表征或文本库。从呈现的视觉信息中，学习者选择重要的图像进行视觉表征（即选择图画），其结果是建构表象表征或图像库。当学习者选择了视觉和言语材料之后，就会把进入工作记忆中的信息组织成一个连贯的整体（即组织过程）。学习者对文本库进行重新组织（即组织文本），形成关于文中所描述情境的言语心理模型，这一过程发生在言语短时记忆中。学习者对图像库进行重新组织（即组织图像），形成关于图像中所描述情境的视觉心理模型。最后，学习者需要在两类模型之间建立联系，并将所组织的信息与记忆中已有的、熟悉的知识结构联系起来（即整合过程）。为使整合过程得以发生，视觉信息必须保持在视觉短时记忆中，同时，相应的言语信息需要保持在言语短时记忆中。然而，短时记忆的容量是有限的，因此视觉与言语信息的整合将受到记忆负荷的限制。需要指出的是，对信息的选择、组织和整合并非总是以线性的顺序发生，有时也会反复进行。
梅耶关于双重编码的主要假设就是言语信息和图画信息在不同的认知系统中进行加工。学习者选择相关词语建构成命题表征，组织成言语心理模型；选择重要图像形成图像表征，两种加工建构了两种平行的心理模式，最后彼此进行一对一的映射联系。如果言语信息和图画信息同时出现在工作记忆中，也就是两个模型同时在工作记忆中，就会发生整合加工。 （三）新双重编码理论 有人（Schnotz和Bannert）对梅耶的多媒体学习模型中文本和图画的平行加工提出了质疑。他们认为，文本和图画属于不同的符号系统，用的是不同的表征原则，言语（或命题）表征是描述性的，而图画（或对话）表征是直观性的。言语表征和图画表征之间不可能有映射过程，不可能进行简单的结构整合，因为直观性表征不包含事物之间的关系。他们在双重编码理论的基础上，提出了理解文字和图画的整合模型——新双重编码理论（见图3）[5]。 这个模型包括描述性表征和直观性表征两部分。描述性表征包括外部的文本表征、文本浅层（表面结构）的心理表征和语义内容的命题表征，这些表征之间的相互作用是以符号为基础的。直观性表征包括外部的图画表征、图画的视觉认知和所描绘物体的心理模型，这些表征之间的相互作用是以类比结构映射加工为基础的。两种表征形式可以通过模型建构和模型检验相互转换和补充。 该模型和传统的双通道模型的区别在于，它是以不同的符号系统和表征原则为基础的。具体表现在以下几个方面：（1）言语和图画加工的交互作用不是基于文本的浅层表征和视觉知觉水平发生的，而是基于命题表征和心理模型水平的，也就是在文本和图画的语义加工之后。（2）在旧双重编码理论中，言语和图画表征被看做是结构的整合，而在新理论中被看做是心理模型建构的一个连续过程。描述性表征和直觉性表征是不能相互整合的，但可以相互“交流”。这两种表征系统是两种相互作用、相互补充的认知“通道”，而不是整合的记忆结构。 新双重编码理论解决了描述性与直观性表征是如何关联的问题，但是这只是理论上的，需要大量经验性验证。该理论虽然可以解释很多现象，但是它依然有不足之处，首先，它没有考虑到学习者的特点，例如学习者的先前经验问题。因为同一个物体有不同的表征形式，如果当前的表征适合于特定的任务或者与学习者原本的表征相适应时，就能促进学习者的学习，反之，将影响学习者特别是先前经验丰富的学习者的学习，因为他们的先前知识往往使得他们对该事件有了适合自己的心理表征，而外在添加的图画可能不适合其本身的表征，从而妨碍其学习。另外，对于低视觉空间能力的学生而言，图画加工的困难到底在什么地方？在复杂的整合任务中，两个不同的认知系统如何共同工作？这些问题都有待解决。 二、一般的认知机制理论 多媒体学习的认知理论模型需要以一般性的认知假设为基础。例如，梅耶的多媒体学习模型是建立在双通道假设、工作记忆有限容量假设与生成性学习假设的基础上的。这些一般性的认知机制假设有助于支持多媒体学习的认知理论模型，对多媒体学习的认知过程的探索具有很强的指导作用。 （一）工作记忆模型 巴德利等人（Baddeley和Hitch）在1974年提出了工作记忆模型，并于1986年进行了修正[6]（P48—79）。该模型认为工作记忆由三个系统组成：中枢执行器（central executive）、语音环（phonological loop）和视觉空间画板（visuo-spatial sketch pad）。其中，中枢执行器是一个注意控制系统，负责执行加工过程，主要包括对相关信息的注意和无关信息的抑制等。而语音环和视觉空间画板则被看做是两个子工作记忆系统，分别对应言语工作记忆）和空间工作记忆。随着人们对工作记忆的深入研究，巴德利等人的工作记忆三成分模型逐渐表现出不足来。例如，它难以合理解释学习者对散文段落进行回忆时表现出的组块现象。巴德利在原有模型的基础上增加了第四种成分——情节缓冲器（episodic buffer），这种缓冲器可以保存完整的事件或情境，是使用不同编码并在亚系统之间提供有限容量的缓冲器，这样，工作记忆三成分模型被修订成了工作记忆四成分模型（见图4）[7]。 根据工作记忆模型，如果多媒体呈现的信息涉及多种通道，那么学习者就可以充分利用视听两种工作记忆，这样实际上是变相地扩展了工作记忆的容量，因此有利于信息的记忆和保持，而且，情节缓冲器可以少量储存图像信息与言语信息，有利于加强两种表征之间的联系和整合。 （二）分布式认知理论 分布式认知理论将内部过程和外部过程看作一个认知系统的整体，认为外部的环境不仅是一种信息的来源或者输出地，也应该是思维的一部分。它强调认知活动应该在人的思维内部、外部认知产品、他人以及时间和空间上进行分配[8]。 根据认知分配理论，多媒体的外在图画不仅能提供信息，还能作为一个外部认知引导、限制和促进认知行为。当人们用符号表征推导一个问题时，他们不需要在心理内部运行所有的思维过程，相反，他们通过操作图画找出解决方法。实际上图画给学习者提供了外部表征，学习者可以将任务分配到环境中，这样环境就承担了学习者部分的工作记忆，因此减轻了工作记忆的负担，促进信息的保持。 （三）认知负荷理论 认知负荷理论从资源分配的角度考察学习和问题解决。认知负荷是学习者在完成特定学习任务时所需的认知资源总量。工作记忆能够同时加工的信息容量是有限的，若同时加工几种信息，则存在资源分配的问题，而分配遵循“此多彼少，总量不变”的原则。若在问题解决或学习过程中所需要的资源总量超过了个体所能提供的资源总量，则会造成认知负荷超载，影响学习或问题解决的效率。 斯威勒尔（Sweller）基于认知负荷的不同来源，将认知负荷区分为内在认知负荷、外在认知负荷和生成认知负荷[9]。内在认知负荷是知识本身所带来的认知负荷，由学习材料中包含的概念或元素的数量、概念或元素之间的相互关系以及学习者的经验水平（图式数量）决定。外在认知负荷指因外在的信息呈现和教学处理而导致学习者耗费在与教学目标无关的操作（如信息搜索）上的认知负荷，这种认知负荷对学习起着干扰作用。生成认知负荷用于图式获得和规则自动化，对学习起着促进作用。认知负荷的这三种成分之间是一种相加的关系，所加之和不能超过工作记忆资源总量。固有认知负荷提供一种基础负荷，是不可消减的，但可以通过自动化的图式减少其总量，使更多的认知资源用于建构新的图式，增加有关认知负荷。 根据认知负荷理论，多媒体学习就是试图通过言语表征和图像表征互补，减少学习者的外在认知负荷，使学习者尽快从浅层语义表征与视觉影像达到命题表征与心理模型，增加生成负荷空间，促进深层理解。 （四）生成学习理论 多媒体学习的过程也是生成学习的过程。生成学习理论认为，当学习者将进入听觉和视觉的信息组织成视觉和听觉的心理模型，并对这两种表征进行整合时，真正的学习才得以发生[10]。因此，当学习者利用先前知识建立言语模型和图像模型的联系，并在先前知识的基础上调整这些联系时，学习者对知识的理解便得到加深和提高。 三、存在的问题与发展趋势 （一）学习理论取向问题 多媒体学习的认知机制模型必然涉及学习理论取向问题。上述各种专门的多媒体学习的认知机制理论多数（生成学习理论和分布式认知理论除外）是以认知主义的“知识接受”的知识观和学习观为基础的，将知识假定为一件能够进入人脑的物品，学习被看做是向学习者的记忆增加知识的过程，教学被看做是向学习者发布知识的过程。因此，在这些模型中，学习总是发端于外界刺激对人体感官的作用。但这一观点已经被建构主义学习观所取代。学习被看做是学习者在先前知识经验的基础上主动注意、选择、解释外在信息的过程。因此，多媒体学习的认知机制必须考虑这一积极的建构过程。根据分布式认知理论，人的学习并不局限于人的大脑内部而发生，大脑与外在环境构成一个分析单位，头脑中的内部表征与头脑外的外部表征处于同一个系统之中。内部与外部的多重表征（如言语表征与图像表征）之间如何相互交流，如何测量并减少这种交流所需要的认知负荷，是多媒体学习的认知机制研究所需要考虑的问题之一。 （二）大脑认知神经科学的证据支持问题 多媒体学习的认知机制模型需要大脑认知神经科学的证据来支持。无论是专门的认知机制模型还是一般性的认知机制假设不仅有赖于认知实验的证明，还有赖于大脑认知神经科学的证据支持。例如，根据功能磁共振成像（fMRI）技术的研究，工作记忆的确可以划分为听觉工作记忆和视觉工作记忆两个子工作记忆系统，其中听觉工作记忆主要由大脑左半球参与，视觉工作记忆主要由大脑右半球参与，两种记忆条件下所参与的脑区没有重叠[11]，但是，是否存在 从模式中可以看出，多媒体学习包括三个过程：选择、组织和整合。首先，学习者需要注意经过眼、耳进入信息加工系统的视觉和言语信息中的有关内容（即选择过程）。从呈现的言语信息中，学习者选择重要的词语进行言语表征（即选择文本），其结果是建构命题表征或文本库。从呈现的视觉信息中，学习者选择重要的图像进行视觉表征（即选择图画），其结果是建构表象表征或图像库。当学习者选择了视觉和言语材料之后，就会把进入工作记忆中的信息组织成一个连贯的整体（即组织过程）。学习者对文本库进行重新组织（即组织文本），形成关于文中所描述情境的言语心理模型，这一过程发生在言语短时记忆中。学习者对图像库进行重新组织（即组织图像），形成关于图像中所描述情境的视觉心理模型。最后，学习者需要在两类模型之间建立联系，并将所组织的信息与记忆中已有的、熟悉的知识结构联系起来（即整合过程）。为使整合过程得以发生，视觉信息必须保持在视觉短时记忆中，同时，相应的言语信息需要保持在言语短时记忆中。然而，短时记忆的容量是有限的，因此视觉与言语信息的整合将受到记忆负荷的限制。需要指出的是，对信息的选择、组织和整合并非总是以线性的顺序发生，有时也会反复进行。 梅耶关于双重编码的主要假设就是言语信息和图画信息在不同的认知系统中进行加工。学习者选择相关词语建构成命题表征，组织成言语心理模型；选择重要图像形成图像表征，两种加工建构了两种平行的心理模式，最后彼此进行一对一的映射联系。如果言语信息和图画信息同时出现在工作记忆中，也就是两个模型同时在工作记忆中，就会发生整合加工。 （三）新双重编码理论 有人（Schnotz和Bannert）对梅耶的多媒体学习模型中文本和图画的平行加工提出了质疑。他们认为，文本和图画属于不同的符号系统，用的是不同的表征原则，言语（或命题）表征是描述性的，而图画（或对话）表征是直观性的。言语表征和图画表征之间不可能有映射过程，不可能进行简单的结构整合，因为直观性表征不包含事物之间的关系。他们在双重编码理论的基础上，提出了理解文字和图画的整合模型——新双重编码理论（见图3）[5]。 这个模型包括描述性表征和直观性表征两部分。描述性表征包括外部的文本表征、文本浅层（表面结构）的心理表征和语义内容的命题表征，这些表征之间的相互作用是以符号为基础的。直观性表征包括外部的图画表征、图画的视觉认知和所描绘物体的心理模型，这些表征之间的相互作用是以类比结构映射加工为基础的。两种表征形式可以通过模型建构和模型检验相互转换和补充。 该模型和传统的双通道模型的区别在于，它是以不同的符号系统和表征原则为基础的。具体表现在以下几个方面：（1）言语和图画加工的交互作用不是基于文本的浅层表征和视觉知觉水平发生的，而是基于命题表征和心理模型水平的，也就是在文本和图画的语义加工之后。（2）在旧双重编码理论中，言语和图画表征被看做是结构的整合，而在新理论中被看做是心理模型建构的一个连续过程。描述性表征和直觉性表征是不能相互整合的，但可以相互“交流”。这两种表征系统是两种相互作用、相互补充的认知“通道”，而不是整合的记忆结构。 新双重编码理论解决了描述性与直观性表征是如何关联的问题，但是这只是理论上的，需要大量经验性验证。该理论虽然可以解释很多现象，但是它依然有不足之处，首先，它没有考虑到学习者的特点，例如学习者的先前经验问题。因为同一个物体有不同的表征形式，如果当前的表征适合于特定的任务或者与学习者原本的表征相适应时，就能促进学习者的学习，反之，将影响学习者特别是先前经验丰富的学习者的学习，因为他们的先前知识往往使得他们对该事件有了适合自己的心理表征，而外在添加的图画可能不适合其本身的表征，从而妨碍其学习。另外，对于低视觉空间能力的学生而言，图画加工的困难到底在什么地方？在复杂的整合任务中，两个不同的认知系统如何共同工作？这些问题都有待解决。 |
|
|
