全文阅读

新用户7573R1f0 2022-05-28 发布于河南

展开全文

外语电化教学 2021,(03),50-56+8

VR模态再建中的具身认知探析

随着高等教育的创新发展，VR技术为教学提供了多维度实训空间。在外语教学领域，通过模态再建，虚实深度配合，语言文化的表达、表现、接受、传承和再加工均呈现新样态。本文从具身认知的视角拓展外语教学的语境创设路径：教师根据教学目标选择资源，对教学模态进行取舍，优化加强有效模态对学习的支持；学习者在与语境的意义协商中自主建构知识，进而绘制VR模态再建中的具身认知模型，并通过《西方文化品鉴》和《景面文心——中英文经典诗歌中的自然生态观》两个案例对VR具身认知设计进行分析。

关键词：模态再建;具身认知;虚拟现实;外语教学;语境;意义协商;

作者简介：李颖，通讯地址:311121浙江省杭州市杭州师范大学外国语学院;刘倩，通讯地址:311121浙江省杭州市杭州师范大学外国语学院;

收稿日期：2021-03

基金：教育部人文社会科学研究青年基金项目(项目编号：18YJC880054)的阶段性成果;

An Analysis of the Embodied Cognition in Virtual Modal Reconstruction

LI Ying LIU Qian

School of International Studies,Hangzhou Normal University

Abstract：

In higher education,the technological innovation of virtual reality has created multidimensional learning opportunities for teaching and learning.In foreign language teaching,owing to the reconstruction of modals,virtual images and real learning experience undergo such an in-depth interaction that language and its culture take on new forms of expression,performance,acquisition,inheritance,and reconstruction.This paper broadens the way to create language learning contexts from the perspective of embodied cognition.On the one hand,teachers choose resources and teaching modes,in accordance with the objectives of teaching and learning,to optimize the support from effective modes.On the other hand,learners are encouraged to construct their knowledge while negotiating with the context.A framework of embodied learning in the virtual modal reconstruction is displayed to describe the process of successful learning,in which diverse multimodal input in spires multimodal collaborative intake,thus forming the integrated output.In classroom teaching,literature and culture are sometimes abstract,challenging the learners to imagine the situation and background of the text concerned.It is not easy for them to interact and converse with unfamiliar images or descriptions.The technology of virtual reality makes it possible for teachers to preset the contexts.Learners may sense the implication of the works in an immersive scenario and with a sense of presence.Two cases are analyzed to elaborate the embodied cognition in virtual reality,namely,Appraisals of Western Culture,and Poetic Wisdom at the Heart of Landscapes:Views on Nature and Ecology in Chinese & English Classical Poems.The design of teaching is to integrate language proficiency with embodied experience.Effective cognition is facilitated by integral learning and training.Various learning objectives are achieved with diverse interactions.In the design of Appraisals of Western Culture,Van Gogh's paintings constitute a clue to teaching and learning.The VR experience involves a combination of modal reconstruction,artistic appeal,and interaction with the works concerned.Learners are virtually located in an Art Gallery,and their exploration in the gallery leads to the appraisal of the art works,and to distinguish various genres of painting.As regards the language output,learners are encouraged to compose poems for paintings,to appropriately select background music for paintings.In these multimodal ways,knowledge of language,culture and historical understanding are activated in learning.In the design of Poetic W isdom at the Heart of Landscapes:Views on Nature and Ecology in Chinese &English Classical Poems,language and natural ecology are the key elements for learning.William Wordsworth,Robert Frost,Tao Yuanming and Wang Wei are virtualized in the learning context.The natural images of the idylls and landscape poetry are the media for learners to interact with the poets.The comparison between W estern and Chinese styles offers an embodied understanding of human beings as a community in the perspective of the global vision.In conclusion,embodied cognition in the virtual modal reconstruction realizes an effective connection and integration between science and humanities.It offers insights into history,culture,works,affection and reflection beyond time and space.

Keyword：

Modal Reconstruction; Embodied Cognition; Virtual Reality; Foreign Language Teaching and Learning; Context; Negotiation of Meaning;

Received： 2021-03

1 引言

进入21世纪以来，高校外语教学主动应对未来教育深刻变革，推进智慧教育方式变革，促进教学智能化，带动教育理念、范式、模式的多维度、深层次变革。《联合国教科文组织科学报告：面向2030》的“中国篇”指出，经济发展必须由劳动力、投资、能源及资源密集型转变为日益依靠技术和创新。2018年，教育部制定了《高等学校人工智能创新行动计划》,全面提升人才的文化传承创新、国际交流合作能力。2019年《关于深化本科教育教学改革全面提高人才培养质量的意见》提出全面提高课程建设质量，积极探索智能教育新形态，推动课堂教学革命。2021年1月，为扎实推进《教育信息化2.0行动计划》,教育部增设两个教育信息战略研究基地，聚焦智慧教育发展和人工智能教育应用。

随着信息技术的发展，教学设计与实施有了新的视角，认知与学习的途径、参与的主体、各主体与环境协商的形式都出现了变化和发展。20世纪80年代，认知语言学家Lakoff和哲学家Johnson提出具身哲学，认为认知是在身、心和环境的相互作用中产生的。VR技术进入外语教学领域，通过模态再建，虚实深度配合，语言文化的表达、表现、接受、传承和再加工都有了新样态。

本研究依托2017年建成的虚拟现实外语实训中心，基于省级虚拟仿真实验教学项目的研发设计，从具身认知的视角拓展外语教学的语境创设路径。

2 文献综述

2.1 具身认知

《2020年地平线报告》提及六项新兴技术和实践在语言教学中的应用潜力和空间，其中之一就是具身学习。身体现象学、概念隐喻、知觉符号、镜像神经元、动力系统、技术现象学等来自哲学、语言学、教育学、心理学和神经科学等的理论为具身学习提供了重要的学理支撑(陈醒、王国光， 2019)。起源于20世纪80年代的具身认知基本观念认为，认知活动发生在真实的社会情境中，是人们对概念、物体、事物的表征，通常包括感知、体感和运动体验，具有实践性本质，其核心是将感觉、记忆、运动经验痕迹构成心理模拟基础(Niedenthal, 2007);同时具有整体性，包括动机、意义、价值和情感等多种因素(孟伟， 2015; 赵蒙成、王会亭， 2017)。认知不是各种感觉的叠加综合，触觉、动觉、视觉、味觉和听觉等融合构成最初的身体图式，将各种认知信息组成有意义的对象，对认知信息进行组织和解释，并获得认知意义(杨晓， 2015)。Clark(1997)研究了具身化约束模型——心理和行为发展如何依赖大脑、身体和环境之间复杂的相互作用。也就是说，认知是高度具身化、情境化的行为，发生在一定的文化环境中(Bruner, 1996; 叶浩生， 2015)。刘慧、于林龙(2020)对具身认知的相关研究进行了计量学分析，发现近期国内研究主要涉及价值、隐喻、生态效度和延展认知等。

具身认知主张对实践活动进行分析，认为思维、判断、意象、隐喻和想象都直接或间接地与感知—运动图式相关联(叶浩生， 2010)。具身认知观认为，有效认知是在身体与环境的互动中实现的。只有将认知活动与其对神经系统、身体和环境之间的交互作用紧密联系起来，才能对认知活动进行正确的解读。Potdevin et al.(2020)从多模态视角研究了真实人和虚拟人的交互密切程度，认为虚拟人的行为对真实人能产生情感效果。

语言认知是复杂的系统，涉及学习者先天能力与社会、认知和语言信息之间的复杂互动(Gleitman & Newport, 1995)。语言理解和认知就是已有运动感觉及相关经验与当前情境发生共鸣的具身认知过程。学习是意义建构的过程，在语言的应用中与他人、环境进行交互与协商，自然持续地尝试解读并完成认知过程。穆勒(2019)认为“感觉和运动”过程是认知体验的必要组成部分，可以聚焦文学作品中的情感表现。

语言教学中环境的创设对培养学习者综合运用语言的能力至关重要，与解决这一问题适切程度和可行程度较高的技术便是虚拟现实技术(VR),它可以创造沉浸式学习环境，学习者接触的不再是失去语用场景的片段。

2.2 VR模态再建中的有效模态

在多媒体教学之初，丰富的音视频资源在语言教学领域充分发挥了多模态教学优势。但学者也关注到不同教学目标对模态分布有不同的反馈，张德禄、王正(2016)建构了多模态互动分析综合框架，从五个层面对英语课堂教学活动进行了实例分析：文化语境、情景语境、互动语境、模态和媒介。从表1可以看出，当课堂教学活动相互内嵌、频繁转换时，学生注意的焦点也在频繁转换，仅就“深入理解课文”这一教学目标来说，可能干扰了学生完整连贯的思维。

从表1可知，教学模态可以辅助提供信息，但也可能干扰学习目标的达成。因此，教学中的模态有效性成为教学设计中需要特别关注的方面。VR技术以特有的模态再建功能创设语境，不仅模拟了传统的感官体验，还突出了平衡觉和机体觉等共同感受的环境，从物理和心理两个层面创设一个虚拟空间(李颖， 2018; 2020)。学习者开始VR交互时，生态位是双重的，即身处真实世界来感知虚拟空间。张志祯(2016)认为，VR能够“占领”学生的视觉、听觉甚至触觉等多个感觉通道，多感官的参与可以提高学习效率。同时，头盔式VR切断了学生与周围世界的感官联系，让学生可以专注地“沉浸”在与学习内容交互的过程中。

基于情境学习理论，知识、思维和学习的情境是紧密联系且都存在于实践中的(Brown et al., 1989),知与行是交互的，即知识是情境化的，通过活动不断推进发展。判定某一情境中“应当做什么”与“应当怎么做”时，在参考一般准则时也需要考虑与之相关的具体情境。Greeno & Moore(1993)认为，情境性在所有认知活动中都是根本性的。将知识应用于真实的语境可以提升学习动机和成就感。Senge(1994)提出实习场(practice field)的概念。在实习场中，学习者遇到的问题和进行的实践与真实世界中的场景一致。实习场和真实场地是有区别的，发生的时间、场景和活动是预设的，但语境的适用性和未来应用一致。

VR技术的介入让很多想象中的场景以可视化的形式展现出来，一方面丰富了语言学习与运用的可信度，让学习的参与变得更有意义，另一方面可以针对特定的教学目标对教学模态进行取舍，优化加强有效模态对学习的支持。

表1 课堂教学生态中的模态分布 导出到EXCEL

教学环节	教学活动	主导模态	从属模态(可有可无)	分析与结论
课文细节理解	朗读课文	教科书(非身体模态)、口语(身体模态)	其他模态	学生关注的焦点在教师和教科书之间频繁切换，并不利于达成“深入理解课文”这一教学目标
	讲解单词或表达方式
	就生词或重点内容提问	口语、注视和头部运动(身体模态)	教科书(非身体模态)、手势(身体模态)、其他
	对学生回答进行评价

注：表1改编自张德禄、王正(2016)。

3 VR模态再建中的具身认知——学习者与语境的意义协商

Bransford et al.(2000)提出，成功的学习者能确切地阐述问题，推断结果，不断地评论和重组思维。这就意味着，在教学设计与任务设置时，如何支持学习者积极有效地建构意义成为重点。

3.1 具身认知——由学习者建构

在语言教学中，学习者从有效的语境中提取已有或已知信息，融合新知识，通过推理和判断来处理真实的任务，随后得到相应的反馈，不论是正确的结果，还是错误的结果，都是具身学习而成。

课堂教学基于“传道授业”理念，知识与信息是由教师讲授，或借助媒介以教学资源的形式传递给学习者，教学节奏由教师预设，并不以学习者的接收有效度为准，教学过程受学习者反馈的影响较小。与课堂教学生态相比，具身学习属于“交互推进”的模式，由学习者决定学习进程。学习者必须将自己的理解输入设备，以确保学习流程能进入下一个阶段。在这个过程中，学习者需要通过操作行为验证自己的理解，是有目标的、积极的、自主的实践。该实践有效整合了感知和有意识的思考。学习者如果期望自己的理解匹配到预设的任务，就会采用各种策略，整合新知识和已有认知，积极达成目标。在这个环境中，学习者与预设的语境进行意义协商，兼有隐性知识和显性知识。

3.2 具身认知——目标导向的探究式学习

有效的设计可以为学习者的参与和探究提供循环型、阶梯式、可试错的学习支持，学习者按照学习目标来组织和解读信息，通过行动、探究、验证和反思完善认知逻辑。从近年的虚拟仿真实验教学项目设计来看，VR语境中设置的外语学习交互任务主要分为两类：第一，知识考查型任务，需要学习者通过正确的操作来激活推进到下一环节，如语言搭配或客观信息匹配。信息技术一个很大的优势是比对检测，基于大量语料形成的预设参考答案可以检测学习者是否具备进入下一环节的水平。第二，体悟型任务，鼓励学习者在语境中赏析和评价一些语篇，如对文学作品所描述境界的思考。人工智能技术已经可以胜任初级、字词句层面的智能评阅，在语篇层面虽尚未达到精准，但作为辅助功能逐渐完善。

有效的探究式VR语境创设可以参考以下原理：第一，真实性。语境是学习者未来在专业领域真实接触到的；第二，问题导向性。语境中外显或内隐地设置了供学习者探究的需要解决的“问题”;第三，高阶性和挑战度。学习者在预设语境中面对的“问题”需要具备可探究的实际意义；第四，支架性。在学习者尝试解决问题时，VR语境可以提供支持，例如思维技能的引导；第五，反思性及可迭代性。学习者在完成语境中预设的任务之后，会促进他们的反思，进行反复论证和完善。

3.3 VR模态再建中的具身认知模型

VR技术在解决语言学习情境方面具有特殊的运用价值，极大地延伸了学习与实训的空间。在教学情境的构想与设计方面，VR技术辅助再建了学习模态，将学习者带入沉浸式的空间内部进行观察和体验，并学会在这个空间体现价值。

图1 VR模态再建中的具身认知模型 下载原图

如图1所示，学习者在语境中进行体验和理解，通过VR预设的场景进行交互和协商，学习的发生成为学习者主动实践所得。学习发生的全过程中，教师的作用主要在前端和后端，前端是根据学习者的已有储备，利用可视化工具和交互策略为学习者创设语境；后端是帮助学习者修复、弥补学习过程中尚未获得或缺失的部分。

4 VR模态再建中的具身认知设计案例分析

优秀的文学艺术作品具有高质量的语言和高超的修辞手法。学习者对于其内涵文化思想的理解、吸收、批判和评鉴都是以诸多语言技能的内化为前提，语言的理解、阐释和运用都是一门艺术。

4.1 《西方文化品鉴》VR具身认知设计

传统西方文化类课程教学的痛点和难点在于：抽象概念描述困难，无法超越时空局限；文化情境体验困难，难以引发文化共情；深层次知识建构困难，难以实现自主探究。为解决这些问题，VR技术以其沉浸式、形象化和临场感等特点，以多模态之间的协调性还原文化场景，开展西方文化的情境式教学。

结合《西方文化品鉴》的教学目标，按照学习者的先修英语水平，将整体设计分为两类：若先修英语水平较高，可以直接解读教学文本，课前先自主学习文本；若先修英语水平尚有欠缺，学习者将先进入VR的体验赏析环节，通过仿真展示的作者生活环境或作品，让学习者产生对教学文本的初步假设。随后进入课堂教学与课外创新阶段(见图2)。

图2 《西方文化品鉴》的教学设计 下载原图

首先，课堂教学过程中，在语言元素方面从听、说、读、写、译的语言要求对文本进行分析；同时，在文化元素方面从作品背景对文本进行解读。其次，课堂教学后，学习者进入VR情境虚拟环节，充分发挥模态再建功能，综合使用多模态资源。最后，通过此前在语言和文化方面的多层次解读、分析，学习者进入思辨与创作阶段，主要包括对作品进行个性化推介、西方艺术和中国艺术的关联与异同分析、为作品配乐、为作品配诗等，从文化的各种符号入手，立体化、多模态地形成对这一时期中西发展的深刻认识。

进入VR虚拟场景后，学习者的习得过程分为有形操作和无形领悟两个方面：有形操作即按照界面提示逐步完成预设的任务，从知识层面习得相关信息；无形领悟方面即通过沉浸式体验获得对艺术的领悟，形成艺术感动，塑造艺术情感。

以“梵高之旅”为例，在VR具身认知过程中，教学设计通过情境体验法、闭环式引导法和开放式探究法完成学习。

情境体验法。VR语境绘造美术馆的虚拟场景，将学习探索活动置于艺术文化赏析的真实情境，意在通过视觉和听觉的沉浸式感知，激发学生的审美感受力和对内心感受的专注力。同时，三个展厅情境作为暗线串联课程知识的不同层级，从西方艺术流派总览，到印象主义与后印象主义辨析，最终落脚于梵高的画作，助力学习者知识的结构性构建。

闭环式引导法。VR语境分访问和导览两个模式。前者是一个相对封闭的闯关模式。学习者作为访客，依循预设的实验步骤进行学习。内容设置由易到难，练习手段由简到繁。比如，实验题型从初阶的选择、归类，到中阶的理解、辨析，再到高阶的批判、创造，循序渐进以实现知识增量的最大化。

开放式探究法。VR导览模式是学习者主导的开放活动进程。学生可以根据自主选择的路径在虚拟情境中探索。这种开放式、个性化的学习经验能够最大程度地激起学生的想像力和好奇心，从“知识增量”迈向“知识升质”。如图3和图4所示，学习者通过观察画作《星空》的细节和意境，完成诗文的选词填空任务(图3),达到“从文字选择考察意义传递”的教学目标。通过选择诗歌的段落，研读对应的解析内容，鉴赏诗歌中的修辞表达方式与表达效果(图4)。

此外，开放式探究还可以引导学习者对西方艺术与中国传统艺术展开关联思维。系统将记录学习者数据，供后续使用者参考(见图5)。

由此，在VR模态再建的语言文化学习中，通过情境漫游、作品欣赏、文字解析、互动任务等具身环节，使学习者了解西方艺术史的发展历程以及文字作为符号对于绘画作品的诠释。通过VR语境中充分的交互设计，让学生对《星空》《蒙马儒的日落》等作品进行鉴赏，并结合文本的研读，在语言、情绪、感官、想象力和智慧的共同激荡下沉浸在审美情趣之中，体会梵高在华美色彩背后的时代声音。

图3 从文字选择考察意义传递 下载原图

图4 鉴赏诗歌中的修辞表达方式与表达效果 下载原图

图5 西方艺术与中国传统艺术的关联思维 下载原图

4.2 《景面文心——中英文经典诗歌中的自然生态观》VR具身认知设计

在文学类课程中，诗歌“抽象”的特点使得学习者往往难以驾驭，通常是由教师引导、解读、提问、对话、修正，形成共识。英语学习者面对的是与日常用语不同的文字，先修的语言知识往往不足以把握诗歌中的意象表达，需要借助想象力、教师的解读和自身积累的背景知识。由于时代久远，学习者很难代入诗人当时所处的环境和背景，也难以体会诗歌中的意境和情感，更无法将诗歌学习系统化，将中外诗歌进行关联分析。

《景面文心——中英文经典诗歌中的自然生态观》VR具身认知设计根据虚拟现实技术的沉浸式、形象化和现场感特点，利用多模态之间的协调性打造中英经典诗歌中的自然意象，开展情境化、探究式教学，引导学生思考和探讨诗歌中包涵的自然生态观。

“景面文心”指诗歌看似是对自然的描绘，实则体现诗人的内心活动。VR的模态再建功能让学习者进入诗歌中所呈现的场景，学习者通过“交互推进”的形式尝试领悟诗歌，直接体验与诗人的时空对话，大大提升学生探究学习的兴趣，提高其诗歌鉴赏能力。

本设计以诗人华兹华斯、罗伯特·弗罗斯特、陶渊明和王维创作的田园诗和山水诗为学习对象。他们的诗作是中英文诗歌中的经典，并具有一个很重要的共性：充满了自然意象，赋予自然意象情感与内涵。

VR预设场景包含必要环境，但留下想象空间和学习者可以自主建构知识的领域，教学目标及特点如下： (1) 分析中英经典诗歌中的自然意象。自然意象是中英经典诗歌中常见的语言特点，但文字的特殊编排和隐含意义对学习者来说不易察觉。VR语境中出现的山水、色彩、音效、氛围、动作，实现具身式体验诗歌中描绘的自然意象；体会诗歌中的意境，感受诗人当时的情感，充分代入诗人角色(如图6)。

图6 诗歌的VR模态再建Stopping by Woods on a Snowy Evening 下载原图

(2) 思考诗歌中的生态含义。VR语境让学习者有机会和诗人进行时空对话，了解时代背景、创作契机以及动机，寻找共鸣点。自然意象是自然风景的一部分，在诗人笔下，风景只是外在形式，其目的在于烘托诗人的情感与内心思想。对比弗罗斯特与陶渊明的田园诗、华兹华斯与陶渊明的田园诗、华兹华斯与王维的山水诗、弗罗斯特与华兹华斯的自然诗，引发学习者思考各意象间的关联、各自然意象在不同诗人作品中的内涵及其与生态的关联，探讨人类历史长河与命运共同体中的生态含义以及对现实生活的借鉴意义(如图7、图8)。

图7 解读诗歌Stopping by Woods on a Snowy Evening 下载原图

图8 王维《山居秋暝》练习 下载原图

(3) 提升学习者参与度和创新创造能力。学习者可以自主设计场景，根据自己对各诗歌作品的生态内涵理解，通过自行绘图、自行翻译、译本对比、诗歌创作、风云榜讨论，打造自己心目中的自然景象(如图9)。《景面文心——中英文经典诗歌中的自然生态观》的VR具身设计举例如下：

图6为诗歌Stopping by Woods on a Snowy Evening赏析的起始步骤。图7为学习者回答有关诗作的提问，思考诗人当时的心境以及想表达的情感。随后通过交互功能找出中国诗人的相关诗歌。

图8进入中国诗人(王维)的界面，学习者的任务是找出中文诗歌中略去的一句。图9进入诗歌意境，呈现自然意象，学习者可以任选自然意象绘制画面，形成自己心目中的意境图。

图9 学习者利用素材组建诗歌作品中的自然景象 下载原图

5 结语

文学艺术作品的学习不仅是对学习者本身语言能力的检验，也是检测学习者对作品历史背景的掌握程度。艺术作品和语言使用都是灵活而有生命的，外语学习者对艺术作品的解读对于深入了解文学文化至关重要。学习者对于作品的理解取决于文学场景、历史背景、文化体悟，以及与作者作品的多维度对话。

VR创设的语境以学生的能力与素质培养为核心，通过具身体验，在学习知识和训练技能中逐步形成有效认知，通过不同的交互方式实现不同的学习目标，综合培养并检测“语言技能+非语言表现能力”(图10)。

图10 文学文化作品VR交互的具身认知目标框架 下载原图

第一，学习者将完成的内置练习上传至评分系统。学生可以检测对内容的理解，教师可以充分掌握学生的学习程度。第二，多维度、多层次考核学生在语言、文化、思维方面的收获。从文本阅读中获取信息认知，进而进入VR情境体验，从情境中重新思考对作品的解析，随后通过书面语和口语检测学习收获及疏漏，最终完成深层次的阅读任务，形成有效认知。第三，开放式任务的历史记录形成痕迹式管理，可以为学习者提供多元借鉴思路。

具身认知的概念提供了一种连接科学和人文学科的方式，VR的模态再建为教学创设了有效模态，更新了语言文化教学理念，其特有的交互形式让学习者以具身化的感知实现教与学的创新。对于外语文学文化教学来说，设计完美的 VR语境不仅能通过沉浸式途径联通学习者与原著，体验人物角色及其行为，还能有效拓展作品阅读的通路，与作品形成呼应和对话，知识由学习者自己建构而成。