|
刘玉梅 郑玉英 摘要：本文在简述后现代哲学的具身心智观、多元多面观、多重互动观等特征的基础上，结合案例，分析、探讨了多模态互动研究的后现代特征。多模态互动研究拒斥离身心智观和语言符号中心论，倡导具身心智观，将语言和非语言模态视为地位平等的研究对象。多模态互动研究主张在自然发生的交际中考察主体与主体、主体与外界环境的多重互动关系，并在研究视角和方法上展现出多元多维性。多模态互动研究与后现代哲学思想的契合进一步表明语言学与哲学的共生共长关系。 关键词：后现代哲学；多模态互动；去中心化；多重互动观；多元多面观 1. 引言 多模态互动一方面指人类互动的多模态性，如人们用于交流的一系列语言和非语言资源；另一方面指通过全面考察构成互动的多模态资源来研究人类互动的一个新兴研究领域（李晓婷，2019；刘玉梅、周思邑，2020）。多模态互动研究拓展了会话分析、互动语言学的分析范围，将传统会话分析中的语言本体研究（如词汇、句法等）转向包含身体-视觉行为（如手势、身势、注视等）在内的多模态资源的微观序列研究。当前，多模态互动研究主要考察互动中的多模态符号（如词汇、句法、韵律、手势等）是如何传递交际意义、组织会话序列，以及构建交际行为的。当前，国际多模态互动研究取得了一系列成果，汉语多模态互动也受到了越来越多的关注，如Multimodality in Chinese Interaction（Li & Ono，2019）一书推动了汉语多模态互动研究的发展潜力。尽管该研究领域正日益走向成熟，但其理论架构还有待完善，哲学基础尚不明晰，对互动现象背后的体认动因阐释还不足（刘玉梅、周思邑，2020）。鉴于此，本文拟从后现代哲学视角追溯多模态互动研究的哲学基础，系统阐述其体现的后现代哲学特征，并结合体认语言学和舞台模型理论开展个案研究，揭示多模态互动现象背后的体认动因。 2. 后现代哲学的内涵 后现代不是指“时代化”意义上的一个时期，即不能看作是时间上后于“现代”的一个历史时期，而应理解为一种思维方式或一种批判的态度（王治河，2006：前言）。哲学上的现代主义以肯定和确定为特征，强调离身心智观，述诸科学主义，从理性主义和经验主义出发探求唯一不变的本质或终极真理。后现代哲学正是诞生于批判现代主义的浪潮中，主张抛弃理性、摧毁中心和基础，大力倡导人本性、不确定性和多元观。循着批判与建设的态度，后现代哲学经历了“人本性、批判性”“破坏性、解构性”“建设性、体验性”三个重要时期（王治河，2006：前言；王寅，2012：9）。后现代哲学的具身心智观、多元多面观、多重互动观等影响着包括语言学在内的交际研究。 首先，后现代哲学拒斥离身心智观，倡导具身心智观。根据西方传统哲学的核心观点，人是心智与身体二分的理性动物，心智能力超越身体属性。因此，心智是抽象的、逻辑运算的、纯理性的、有意识的，最重要的是，它可以直接表征世界。基于对人的这种认识，语言则是心智的内在产物，可直接表达与外部世界对应的抽象概念。20世纪70年代以来，一批哲学家开始重新思考心智属性，针对西方传统离身心智观，提出心智和身体不可分的观点。如Merleau-Ponty（1962：185）提出了“身心”一元论，主张把心灵的根源放在身体之中，放在世界之中，“身体-主体”的延伸就是知觉，两者处于相互表达的关系中，而非对立或分离。Dewey（1929：277）认为每个心智都与身体相关，身体经验是人所思、所想、所谈的基础。Lakoff和Johnson（1980，1999）在批判二千多年西方哲学传统的基础上，将其归结为客观主义哲学，提出了“新经验主义（new experientialism）”和“体验哲学（embodied philosophy）”的构想，发起了一场轰轰烈烈的具身运动（embodiment revolution）。语言学研究先后开启了以乔姆斯基为代表的离身认知革命和以Lakoff、Langacker等为代表的具身认知革命。同时，日常语言交际中人们如何协同运用身体与物理、社会和心理世界来传情达意完成交际行为成为了学者关注的重点之一，多模态互动研究也随之诞生。 其次，后现代哲学拒斥中心论，倡导多元多面观。以德里达为主要代表的解构主义，持“解构”的利器消解建立在笛卡尔二元对立逻辑上的一系列结构，如“逻各斯中心论”的语言结构、语音中心论等，以此颠覆西方形而上学的大厦（王治河，2006：144）。随着中心的消解和结构的颠覆，自索绪尔以来，视结构为中心的语言学研究范式逐渐瓦解，被索氏剥离出去的与语言相关的文字、语音、人、政治、社会、文化、历史等因素受到广泛关注。整合性学术研究进入语言学家的视野。包括语言学在内的交际研究也迎来了研究对象、视角和方法的多元化。语言学家们不仅关注语言符号本身，还关注日常交际活动中伴随语言协同使用的音律、文字、图像、身姿、气味、颜色、环境等多模态符号，逐步形成了多模态话语分析、多模态交际研究、多模态语法研究、多模态互动研究等主要径路（刘玉梅、周思邑，2020；刘玉梅、王晓峰，2021）。近来兴起的多模态互动研究不但从后现代哲学中汲取营养，关注互动交际中主体的语言、身体活动与周围环境的协同关系，确立了多模态研究视角、研究对象和研究方法，而且强有力地支持了后现代哲学的体认观、去中心、反基础、整体观、互动观、多元观等核心思想。即是说，“是哲学的，定能为语言研究所用；是语言的，必然关涉哲学理论，这两个学科具有共生共长的关系”（王寅，2017：1）。 再者，后现代哲学拒斥主客分离，强调主客多重互动观。传统哲学主张主客二分，互不干涉，认为人类关于世界的知识要么源自主体的理性思维，如笛卡尔的“我思故我在”；要么源自客体对主体经验的镜像映射，如亚里士多德的感觉认识论。而无论是由主体向客体，还是客体向主体运作，单向模式都无法真正解释意义的来源和不确定性，也无法意识到获得认识的共性基础。以后现代哲学为宏观语境，体认语言学指出，不同国家、地域的人生活在大致相同的客观世界中，有着功能相同的身体器官，且作为直立行走的两足动物，人类的基本身体结构大致相同，而正是这些因素的共同作用使得人类的经验基础和认知方式具有普遍性（王寅，2020：72）。王寅（2009）在体认语言学框架中提出了“主客多重互动”的理解模型，认为在不同的语言交际中，存在多种不同的互动关系，如主体与客观外界的互动，互动主体之间的互动以及主体与话语、语音、文字等的互动。人类认识客观外界或交往达成共识既依赖普遍的经验基础，也依赖上述主-客-主之间的双向多重运作关系。在多模态互动交际中，学者们也越来越意识到，交际互动中的意义产生不仅根植于主体与主体、主体与语境（物理环境和社会-文化情景）之间的动态过程中，还有赖于由言语、音调、手势、面部表情和身体动作等传达各种信息的有意义整合过程（Kendon，2004；Stivers & Sidnell，2005；Zima & Bergs，2017）。 3. 基于后现代哲学的多模态互动研究 3.1多模态互动研究的内涵 国内外研究者从不同视角对多模态互动作了界定。Stivers & Sidnell（2005）认为多模态互动即面对面的互动，强调多模态互动发生的场景和参与互动的模态要素。即在互动中，参与者双方均会使用或识解一系列有意义的面部表情、手势、身体姿势、头部动作、语法结构和韵律轮廓等模态资源。Streeck et al.（2011）指出，人类互动是一个具身活动系统（embodied activity system），因为人类普遍倾向于使用不同的符号资源来组织包括交际在内的社会行为。Li & Ono（2019）等学者进一步从研究对象和研究视角界定了多模态互动。他们认为，多模态互动研究一方面指通过对构成互动的各种模态资源进行全面考察来研究人类互动的一个新兴研究领域；另一方面指人类互动交际呈现的多模态性，即人们用于交流的一系列语言资源（如词汇、句法、韵律等）和非语言资源（如图像、手势等）符号系统，并且这些模态资源之间协同合作可构成多模态事件（multimodal events）（李晓婷，2019；刘玉梅、周思邑，2020）。Langacker（2008：15）在《认知语法入门》中指出，可将手势等非语言模态表达方式纳入构式研究之中。随后，不少学者（Steen & Turner，2013；Zima & Bergs，2017；Ladewig，2020；Bressem，2021）将多模态互动研究与认知语法相结合，重点考察交际中手势与语言的互动关系。他们认为，在面对面的交际活动中，包括手势在内的有规律性的身体活动和语言一样都可视为一种用法特征，共同构成了构式的多模态特征，并由此发展出多模态构式语法（Multimodal Construction Grammar）。 3.2 多模态互动的后现代哲学特征 3.2.1多模态互动研究对象的去中心化 以索绪尔为代表的结构主义语言学派和以乔姆斯基为代表的转换生成语法学派主张剔除社会、文化、语境、人等因素，实施“关门打语言”的研究策略，探讨均质条件下的语言本质。而基于其上形成的语言研究势必陷入“结构中心论”和“语言中心论”的窠臼。多模态互动研究则奉行“开门论模态”的策略，探讨多因素综合下人类互动的本质。首先，它拒斥以完全内省、离身心智观的方式研究语言，主张向语言发生的自然栖息地开门，以真实的人类互动为语料来源。其次，它否定将语言视为脱离人的完全自足的抽象系统，主张向语言使用的内、外部因素开门，重视互动语境、参与者身份和立场等对模态产生的影响。最后，它主张向人类互动的多元模态开门，将语言和非语言模态视为地位平等的研究对象。传统研究认为，在交际互动中，语言是信息传递的最主要方式，非语言行为只能对语言传递的信息进行补充。然而，多模态互动分析者（Stivers & Sidnell，2005；Norris，2004）虽不强调某一种模态资源相较于其他模态资源的优先地位，但主张非言语模态（如手势和头部运动等）也可能在交际中居于主导地位，充当信息传递的主要载体。循着上述思想，当前的多模态互动研究主要探讨了多模态资源与交际意义传达、会话组织，以及社会行为构建等的相关性，具体表现如下。 （1）多模态资源与交际意义传达。在各类互动事件中，语言模态（如词汇、句法、韵律等）常构成概念化的核心渠道，但身体视觉行为（如手势、身势等）也可能在会话的某个环节构成互动单位，传达交际意义。例如，面对面互动中的“注视”行为不仅可展示互动双方的会话参与程度，还能在特定场景（如教学）中执行监管的功能（Goodwin，1981；Duncan，2011）。此外，言语和身体视觉行为常相互协作传达交际意义，如在话轮的起始位置，发话人会使用“我觉得/认为”的标记语与注视转移行为表达不赞同的反对立场（Endo，2019）。 （2）多模态资源与会话组织。在会话序列中，句法、韵律以及身体动作等模态资源可以单独或协同合作完成话轮的组织，如暗示话轮的启动和转换，或投射话轮的可能结束位置（Li，2014a）。例如，在多主体互动中，发话者会使用注视行为（gaze behavior）和第二人称“你”向被注视的互动参与者投射发话权，暗示对方接过话轮发言（Auer，2018）。在广东人的日常会话中，听者会使用“举手”和“拍臂”两种手势与粤语中的言语、韵律等语言资源配合，竞争发话权（Luke & He，2019）；在问答场景下，听者在插入当前会话序列时会将身势前倾，而身势的收回与发问的结束也具有一定的相关性（Li，2014b）。 （3）多模态资源与行为构建。在会话语境中，诸如请求、评价、自我修复等的社会行为可由语言单位或言语-身体视觉行为协同构建。例如，汉语会话中，说话者自我纠正语流错误的修复行为不仅可由单音节的词或不合乎语法规范的双音节结构单独实现，还可由与之共现的注视转移、身势变化以及各类手势等具身动作配合完成（Tao，2019）。又如，实施发问行为的不仅限于特指疑问句、是非问句等语法单位，身势前倾和注视行为配合陈述句也可实施发问，达到请求对方给予回应的效果（谢心阳，2021）。 总之，在后现代哲学去中心化的影响下，多模态互动研究解构了语言中心主义和结构中心主义，突破了传统语言研究以单一语言模态为研究中心的藩篱。此外，它还强调从面对面互动的场景中去考察语言与非语言模态使用的本质，更加忠实地贯彻“基于使用”的认知承诺（Cienki，2016；Hinnell，2018）。 3.2.2 多模态互动研究的主客多重互动性 如前所述，后现代哲学强调主客多重互动性，重视意义生成和理解的体验性基础。多模态互动一贯主张自然发生的会话互动具有多方面的互动属性。比如，会话序列中前一话轮和后一话轮之间的互动，以及每个话轮中的交际主体与物理环境和会话语境之间的互动。此外，交际互动中的参与者不论来自哪种文化背景，其作为人类所具有的身体经验基础大致是相通的。因此，真实场景下的多模态互动也是以人类的具身性体验为基础的，且体现着主客多重互动的特征。下文将整合认知语法的舞台模型理论和体认语言学的主客多重互动理论，通过案例分析考察多模态互动的主客多重互动特征和体认机制。 Langacker（2001，2008：474）将认知语法研究从词汇句法层面扩展至话语层面，并倡导使用舞台模型对多种情景下的互动语篇做出阐释，如命令和问答场景。如图1a至图1c是问答场景中问者实施发问行为，触发后续回应事件，并产生某种结果的事件模型。  该模型囊括了问答事件的参与者（speaker，hearer）、双方的认知立场（epistemic stance）以及互动的时空场景（ground）等诸多要素。其中，言者和听者作为互动主体均需处理概念化和语音编码两个过程，对应用法事件的概念极和音位极（Langacker，2001）。在真实场景中，用法事件的概念极和音位极又分别涵盖了多个通道（见图2）。  表达层包括互动主体进行信息编码的一连串音段内容、音调、手势等标记。概念层包括表达层传递的客观内容（如字面义和推理义）、语篇组织（如话轮转换和保持发言权等）以及信息结构（如语篇主题、某一信息是已知的还是新增等）（Langacker，2008：457）。上述音位极和语义极所关涉的诸多通道在交际中具有一定的独立性，但常以复杂方式协同运作，共同构成完整的语篇行为。 上述观点显示，Langacker对交际场景中用法事件的描述与多模态互动对多模态事件的定义有异曲同工之处，这使得应用舞台模型分析真实的多模态问答事件具有一定可行性。但不足的是，Langacker 似乎并未明示交际中的主体（言者和听者）和客体（如交际场境）、主体和各表达通道之间的多重互动是如何对交际意义产生主客观性影响，尤其是多模态互动。因此，我们拟借助体认语言学的主客多重互动观对其进行修补，以更好地揭示多模态互动中的主客多重互动特征。限于篇幅，本文将在案例分析中展现这一修补过程。例（1）是从《汉语桥》中文比赛中选取的一段问答互动。我们根据多模态分析软件Elan（EUDICO Linguistic Annotator） 对其中的模态资源进行了转写和标注。在跨文化竞赛背景下，来自蒙古国的腾格斯按照要求完成了一段“我与汉语桥”的主题演讲。随后，主持人惊叹于该选手流利的汉语表达，且从演讲中得知他曾在中国生活过，便对其发问。下面分别从问答双方达成共识的主客多重互动特征和体认机制展开分析。  在主客多重互动层面，最为显著的是主持人和选手之间的一问一答，即主持人用语言和非语言模态编码概念内容，以及选手对主持人所编码的概念进行解码，并使用模态再次进行编码和回应的过程。同时，表达层的各模态资源又与概念层中的客观内容、信息结构、语篇组织存在匹配和互动关系。我们将这种关系表示为图3，并逐一分析。  由对话可知，主持人从选手的演讲中选取话题启动发问，并将其语码化为特指疑问句。该特指疑问句又在概念层面抽象为待阐释的疑问图式。此外，主持人还使用了注视聚焦和人名呼语，二者共同协作向选手投射话语权（speakership），明示“腾格斯”为下一轮话轮的发话者，而非在场的其他选手。该选手面对投射的发话权可选择接收或不接收。在竞赛语境中，鉴于主持人的控制地位要高于选手，且出于取得竞赛高分的动机，选手选择了接过话轮。其发出的短语“从初一到初三”作为新增的更具体的信息例示了疑问图式，也显示他识解了主持人发出的各类模态信息。最后，主持人又以“小品词+部分共振话语”形式对选手的回答做了新的回应。此处的小品词“哦”位于回应话轮的首位，表示主持人的认知状态发生了由“不知”到“知”的转变（谢心阳，2021）。此外，再次发出“从初一到初三”的共振话语显示主持人通过回应语形式上的共振，激活交际意义之间的互涉关系，提高会话的共鸣度，彰显其认知地位的提升。 在互动中，主持人还使用了隐喻性手势（如图4a和图4b）阐释信息结构中“几岁到几岁”的概念语义。该手势以空间域内的一段运动轨迹来映射时间域中的一段时间，具有外化抽象概念的语义功能（McNeill, 1992）。对于汉语本族语者来说，“几岁到几岁”的语义并不难理解，如幼儿园的儿童也能领会“你今年几岁了”的话语含义并做出正确回答。而面对非汉语本族语者时，主持人以更加直观的手势重复编码简单的语义内容。这表明，主持人对模态资源的选择与意义的编码形式受到了跨文化的交际语境和互动者身份的影响。以上分析表明，主持人和选手，双方和交际语境、模态资源，以及语言和非语言模态之间的多重互动均是交际意义整合的来源，辅助了交际双方在动态语境相互理解并达成共识。  我们用舞台模型图5a至图5c的演变来表征双方达成认知共识的运作过程，其中e表示概念化主体（C）对某个事件的认知状态（如“腾格斯从初一到初三在中国”），S和H分别表示主持人和选手，虚线箭头表示他们对事件的认知状态。在图5a 中，主持人作为当前发话者启动发问事件是因为自身处于认知地位上的低势态，且假定选手作为概念化主体对某一情况持有较高的认知立场，（图中H到C的虚线箭头表示这一对应关系）。认知地位上的不平衡反过来促使选手转换身份，成为新的发话人向主持人补充信息（如5b），并推动双方的认知状态（如5c）演进。图5c 中，双方均作为概念化主体，对“我从初一到初三在中国”这一事实持有同等的认知地位（图中S和H到C的虚线箭头分别表示这一对应关系）。  上述事件模型的演变可追溯至人类对时空和自然环境的体验和认知加工。首先，舞台模型及其运作方式是基于若干如“汉语桥”这类真实的舞台事件抽象概括而成的，且作为认知方式存储在人们的心智中。其次，问答序列在时间维度上的展开是互动双方对时间体验产生的结果。最后，问答事件的启动、推进以及结束也是基于人类对动态演化的自然现象的感知体验和认知加工的结果。双方之间的信息差促使处于认知低态势的主持人向处于认知高态势的选手发问，又促使信息掌握充足的选手向信息掌握不足的主持人进行信息流的动态补充，直至信息量达到相对平衡，话轮也随即结束。这正如自然界中水流由水量充足的地势流向水量不足的地势一样。 3.2.3 多模态互动研究的多元多维性 后现代哲学思潮主张摧毁中心主义、基础主义、一元论和二元论，与此同时倡导视角的“多元性、多面化”，即通过解释的多元性来认识语言，认识现实世界（王治河，2006：169；刘玉梅，2013）。世界具有多元性，语言也具有多元性，如社会性、民族性、交际性以及体认性等。就像人不能同时看到骰子的六个面，人类也不能同时把握语言的多面属性。人们从不同的视角研究语言会得到不同的答案，因此，语言研究势必采取多样化的视角、方法和研究路径。 首先，多模态互动研究继承后现代哲学家Merleau-Ponty（1962）对“视角”的阐释，即不采取感知主体对被感知客体的主观变形，而是采取被感知客体本身的属性（王治河, 2006：171）。在多模态互动研究中，这一“视角”被阐释为“参与者视角”或“主位视角”（emic perspective），即一切来自真实语料中参与者的可观察行为的原则（李晓婷，2019）。该视角具体实施体现在两方面：一是从真实语料中参与者调动的模态形式出发考察其在不同的会话语境中、不同序列位置上的功能；二是从互动功能出发考察其实施过程中参与者所浮现的不同模态形式。此外，为系统地揭示人类互动的本质，多模态分析者还需具备整体论和原子论的视角。整体论视角将互动中被实施的社会行为视为互动者的整体性经验或活动；原子视角深入探索共同实施该行为的每个符号资源或模态（如词汇、句法、韵律和身体运动）的结构和组织方式（Li，2019）。 其次，多模态互动研究从多元方法论中获得启示，既提倡田野调查法，即从语言的自然栖息地中收集原始音频和视频数据，又依托现代科学技术推陈出新，开发多种新型多模态语料库。例如，认知语言学家Mark Turner和Francis Steen联合指导开发的分布式小红鸡实验室（Distributed Little Red）是一个包含各类电视新闻广播的数据库，且提供语音和文本搜索功能；又如，俄罗斯国家语料库（Russian National Corpus）中的多媒体子语料库（Murco）为封闭的电影语料库，允许根据词汇和语法类别以及手势的形式和功能类别进行特定类型的搜索。此外，多模态互动研究也鼓励选取近似面对面互动的视频（如电视访谈等）作为语料，使用可视化的标注软件对其音频和视频进行分析，如音频标注软件Praat、视频标注软件Elan。 最后，多模态互动研究吸收了后实证主义的研究范式，忠实遵照定性和定量的分析方法。在定量方面，倡导对导入分析软件的音频或者视频进行客观的描述和系统的整理。根据分析的维度，对语料中参与者可观察的语言、非语言模态进行严格的标注、转写和分类。基于上述方法开展的数据统计为定性分析奠定了坚实的基础。在定性方面，该领域以往研究主要根据位置相关性判断多模态资源在会话序列中的互动特征和功能，而基于可观察可验证的语言事实的分析和论证则能有效规避分析者开展先验性的理论假设，增强结论的合理性。但不足的是，容易忽视该研究领域的理论建设，导致阐释不够深刻。为弥补这一不足，本文已结合体认语言学对深入阐释多模态互动的体认动因和机制做出了初步尝试。 4. 结语 本文从后现代哲学出发，厘清了多模态互动研究的哲学基础。研究表明，后现代哲学思潮从三个方面促发了多模态互动的兴起与发展：（1）研究对象的去中心化；（2）认知方式的主客多重互动性；（3）研究视角和方法的多元多维性。本文还融合了生发于后现代哲学的体认语言学，修补了认知语法的舞台模型，考察了问答互动中的主客多重互动特征和体认机制。研究表明：问答场景中调配的多模态资源是互动双方进行多重互动与理解的载体和手段，其运作的背后是人们对各类身体感官经验进行体验和认知加工的结果。多模态互动研究依托后现代哲学兴起，历经多年发展已然成为一门新兴的学科。未来，多模态互动还可继续从后现代哲学中的体认语言学、认知语法中汲取营养，探讨多模态互动的体认机制，推动自身理论建设和创新发展。 （参考文献 略） （本文首次发表在《中国外语》2023年第2期） |
|
|
