|
▲向上滑动 符号与传媒  semiotics2008 新浪微博  @四川大学符号学-传媒学研究所 长按右方二维码 关注我们ˉ? 作者简介： 诸葛达维，博士，浙江传媒学院助理研究员，浙江大学中国海洋文化传播研究中心研究员，浙江大学数字娱乐产业研究中心研究员，主要从事认知神经科学与传播符号学研究。 本文来源：《符号与传媒》2017春季号 【摘要】符号意义的生成与传递是一个认知理解的传播过程。如何科学有效地研究符号意义的生成与传播机制是传播符号学关注的核心问题。认知神经科学与传播符号学共享符号学基础，能够对传播符号学理论的完善与提升提供跨学科支持。本文将从跨学科的视角出发，分析传播符号学与认知科学之间的学理逻辑，并尝试将认知科学中前沿的认知神经科学方法引入传播符号学研究中，探索传播符号学理论研究的新范式，为传播符号学的理论推进与跨学科研究提供有益的探索。 【关键词】符号学，传播符号学，认知科学，认知神经科学 一、引言：传播符号学的学理逻辑 符号学与传播学有着天然的联系。传播学研究的是“交流”问题，而任何形式的交流都需要借助符号来完成。符经典的结构主义符号学指出，“大体来说，符号学的疆界和结构主义接壤：两个学科的兴趣基本上是相同的。从长远来看，两者都应被囊括在第三个容量很大的学科内。它简单地叫作交流。”（霍克斯，1997，p. 127）“因此，我们应当把人定义为符号的动物（animal symbolicum）来取代把人定义为理性的动物。只有这样，我们才能指明人的独特之处，也才能理解对人开放的新路——通向文化之路。”（卡西尔，2004，p. 37）可见，符号学是传播学重要组成部分。 传播学与符号学的天然联系产生了传播符号学，使传播研究的焦点从传播过程深入到符号意义的生成与传达。约翰·菲斯克（John Fiske）对传播符号学的建立做了重要贡献，他指出传播是意义的生产与交换，并鲜明地指出传播研究不仅有过程学派，还有符号学派。过程学派视传播为讯息的传递，关注的焦点在于传送者和接收者如何进行译码和编码，以及传送者如何使用传播媒介和管道。它探讨传播的效果和正确性问题。符号学派则视传播为意义的生产与交换，关注的是讯息以及文本如何与人们互动并产生意义。（1995，p. 14）符号学派之所以重要，是因为人的独特之处在于其是意义的生产者，而符号是承载着意义的物体。因此，符号学派使得传播学天然具有精神上的超越性。 因此，传播符号学的基本的逻辑是：传播离不开符号，符号的意义在传播中生成，其生成和流变的规律，构成了人类意义生产和文化建构的基本法则。（李思屈，刘研，2013）这一学理逻辑揭示的不仅是传播符号学的关切问题，也是现代认知科学、认知神经科学所关注的问题。传播符号学与认知科学等学科，共享符号学原理，在认识论和方法论上与其他人文社会科学、自然科学形成对话的基础。这一对话基础使传播学具有切实可行的跨学科基础。李思屈教授指出“符号学是贯穿人文科学、社会科学与自然科学的基础学科与方法，中国传播符号学只有突破历史形成的刻板印象，关注现实的传播运动，研究人类意义生产与传播过程中的真问题，才能迎来理论丰富、精神丰盈大发展。” （李思屈，刘研，2013） 因此，本文将从跨学科的视角出发，分析传播符号学与认知科学之间的学理逻辑，并尝试将认知科学中前沿的认知神经科学方法引入传播符号学研究中，为传播符号学理论研究的创新提供有益的探索。 二、传播符号学的认知特性 众所周知，当代传播符号学有两大源流，一条源自瑞士语言学家费迪南·德·索绪尔，一条源自美国哲学家查尔斯·桑德斯·皮尔斯。索绪尔的符号学从语言学发端，注重表达与交流，是哲学本体论符号学。索素尔曾将符号学称为关于心智运动的“普通心理学”。这个普通心理学就是现在的认知科学。（胡壮麟，2010）皮尔斯的符号学以哲学、逻辑学为基础，注重思维与认知，是哲学认识论符号学。在皮尔斯看来，任何事物只要它独立存在，并且和另一种事物有联系，而且可以被“解释”，那么它的功能就是符号。这就意味着，皮尔斯的符号概念能有效地发挥作用的一个最重要的领域将是认识论：对“认识”过程本身的分析。（霍克斯，1997，p. 132）著名符号学家托马斯·阿尔伯特·西比奥克曾说：“皮尔斯符号学肯定是一门认知科学。” 国内也有符号学专家通过从逻辑范畴、实用主义哲学、符号学范畴与认知科学角度综合分析比较皮尔斯符号学与认知科学后指出，皮尔斯符号学就是“认知符号学”（郭鸿，2011）的观点。可见，符号学自诞生之日起就具有认知的特性，符号学本来就是认知符号学 （赵毅衡，2015）。  图1：皮尔斯认知符号学的意义三分模式 在认知符号学研究中，符号的认知机制是通过符号化过程实现的。符号化就是对感知进行意义解释，是人对付经验的基本方式。这也是卡希尔关于“人是符号的动物”的应有之义。以皮尔斯为代表的认知符号学认为，符号意义生成与传播不仅取决于符号再现体（representamen）与符号对象（object）之间的静态关系，还取决于符号解释者（interpretant）对符号进行能动地认知与解释。因此，皮尔斯符号三分模式各要素之间的关系就决定了符号化过程的确切本质。（霍克斯，1997，p. 130）符号化能够给予我们感知的世界以意义，使自在的外在世界成为我们能够认知与理解的符号世界。符号学家艾科指出，符号化过程有三步：一是思维主体确定某物“有某功能”，二是把该物归类为“用于什么目的”，三是由此命名此物为“叫做什么”。（赵毅衡，2012，p. 35）这个过程也是人类心智认知的一般过程。人类认识世界是从感觉和知觉开始的，这相当于符号化的开端。当人们在感知事物后，对认知对象进行信息加工，进而形成表象和概念，这是符号化的第二步与第三步。这样的思维认知过程在脑电波扫描中也得到了验证。认知神经科学家通过科学实验证明了人的思想产生于所谓的“映像”，而不是人们通常认为的语言。脑电波扫描和其他心理功能测量结果也表明：脑细胞和神经元的活动总是超前于我们有意识地思想和包含语言功能在内的一些大脑领域的活动。只有当人们有意想把这些思想以语言的形式向自己或他人表达的时候，那些包含语言功能的神经领域才会被激活。也就是说，“是认知决定语言，而不是语言决定认知”。（扎尔特曼，2004，p. 24）因此，人类认知过程是通过符号实现的，这也是目前心理学公认的基本原理之一。  图2：LC4MP模型 在实际生活中，我们不必对物的所有品质都进行感知才能进行符号意义的把握。我们通常只需要对符号对象的某些品质与特征进行把握就可以，这是符号认知的片面化原理。这一原理在传播与认知科学的研究中也得到了证明。美国印地安那大学电讯传播系的安妮·朗（Annie Lang）教授通过大量媒介生理心理学实验探索提出了动机性媒介讯息加工的有限容量模型LC4MP（Limited Capacity Model of Motivated, Mediated, Message Processing,Lang, 2009）。在媒介化讯息的认知加工的实际语境下，有限容量指的就是人类认知系统没有能力彻底地加工一条媒介讯息中所包含的所有比特的信息。这一LC4MP模型包括三个动态平行的子过程，即编码（encoding）、检索（retrival）、储存（storage）。各个子过程的加工程度依赖于认知资源在它们之间的分配。这个模型的基本前提就是，个体的认知资源是有限。有限认知容量的概念不仅仅是LC4MP某信的前提，在最早的有关人类注意和记忆的实验的已发表的成果里，也被一些最受尊敬的心理学家纳入到了他们所提出的理论中。（波特，博尔斯，2012，pp. 79-82） LC4MP模型关于有限认知资源的实际分配机制与符号感知片面化的实际情况具有一致性。这也从一定程度上证明了传播符号学与认知科学的相通之处。 三、传播符号学研究可行的认知神经科学方法介绍 既然传播符号学与认知科学具有相通的学理基础，那么我们可以尝试在传播符号学研究中引入认知科学的方法。李思屈教授指出：当代传播符号学研究“对认知神经科学的尝试性引进丰富了对符号主体的研究。意义不仅是符号、符号义和客体之间的互动的结果，而且也取决于符号认知主体——人，与符号之间的动态关系。而对符号认知主体的研究就成为传播符号学进一步推进的关键环节。大脑是人类思想、感情和行为的中枢，符号的解释和传播效果的实现都离不开大脑的相关神经活动。借助当代神经科学的技术手段，结合传播符号学的深度解释，就有可能为相关研究领域带来突破性进展。”（李思屈，2013） 欧阳宏生教授等人也指出，使用眼动仪等仪器来为人类本无法测知的内在心绪等认知机制提供可靠的数据支撑，实现了认知与传播研究在理论层面的飞跃。（欧阳宏生，朱婧雯，2015） 目前，国内外已经有学者将认知神经科学方法运用于传播学与符号学研究中。美国的印第安纳大学开设了传播与认知科学课程，并培养博士研究生。在国内，以中国人民大学、浙江大学为代表的高等院校建立传播与认知神经科学研究实验室，将认知神经科学方法运用到媒体传播效果测评、品牌形象代言等研究中。目前传播符号学研究中较为常用的认知神经科学方法有：、眼动追踪技术（eye tracking）、脑电图（EEG/ERPs）、功能性核磁共振成像（fMRI）、心率等其他生理心理学方法。在这些认知神经科学方法中既有对中枢神经系统的测量，也有对周围神经系统的测量，这些神经生理心理反应都与涉身性认知（embodied cognition）的心智活动相关。下面，笔者将对这些认知神经科学方法在传播符号学研究中的原理及应用做简要评析。 （一）眼动追踪技术（eye tracking） 基于eye-mind hypothesis原理设计的眼动仪（Eye Tracker）是认知科学、心理学和医学中用来通过观察人的眼球运动来分析心理认知规律的工具。眼动追踪技术（EYE GAZE TRACKING TECHNOLOGY）就是借助眼动仪记录分析人的视线活动情况，并以此来分析认知活动的技术方法。视觉是人类获取信息最重要的途径，信息认知加工在很大程度上依赖于视觉，约有80%~90%的外界信息是通过人的眼睛获得的。 眼动有三种基本形式：注视（fixation）、眼跳（saccades）和追随运动（pursuit movement）。眼动仪记录的眼动信息主要是注视和眼跳。100ms以上的视线（eye gaze）停留成为注视，绝大多数信息只有在注视的时候才进入认知加工过程。注视点之间的飞速跳跃称为眼跳，眼跳其间几乎不加工任何信息。在认知神经科学中，注意（attention）是指心理活动对一定事物的指向与集中，是一种思维层面的认知活动。注意具有“指向性”和“集中性”两大特点（李婷，2012，13），指向性是指人的心理活动选择了某个对象而忽略了其余对象的心理过程，说明大脑能有效滤除不相关的信息，而将感兴趣的区域移动到具有高分辨率的视网膜中央凹区。集中性指个体将心理活动稳定在某个对象上并且抑制多余的活动，说明个体能够屏蔽掉外部非关键性信息，而将注意聚焦在关键的刺激源上。因此，注意是一种重要的认知活动，当某个物体具有非常高的吸引力时，人们会不由自主地将注意目光投向它。根据眼动记录的数据，我们可以分析人们感知与关注的兴趣区域、注视时间长度、视线信息搜索路径等与视觉符号认知相关的数据情况。 眼动追踪技术在媒体传播效果测评中应用广泛（李思屈，诸葛达维，2016），其学理基础正是传播符号学与认知科学。我们以广告认知效果测评为例，下图显示的眼动仪测量的广告传播效果热图（heat map）。其中，红色区域是被试关注程度较高的区域，蓝绿色区域是被试关注程度较少的区域，而热图没有覆盖的区域几乎没有受到被试的认知关注。这则广告实验测试结果印证了符号感知片面化的原理。我们在对该广告信息的认知时，并不是对广告中的所有符号进行感知与选择，而是对其中的部分符号品质，即眼动热图所覆盖区域的品质，进行加工以掌握整幅图片的意义。从热图中可以看出，被试通过对产品名称、代言人面孔及手势方向这几个广告符号要素来对该广告信息进行认知加工。  图3：广告效果评估的眼动实验热图（heat map） （二）脑电图（EEG）与事件相关电位（ERPs） 脑电图（EEG）是脑电活动的总称，表征大脑思维活动。事件相关电位（ERPs）是基于脑电提取的，与一定的心理活动（即事件）相关联的脑电位变化。经过心理学家、神经科学家、医学家等科研人员50多年的研究，已经发现与注意、信号感知、分析判断、决策及工作记忆内容更新等认知过程相关联的ERPs成分。这一方法对于符号化过程的研究具有重要借鉴意义。而且，ERPs具有毫秒级的实践分辨率、所需设备简单和环境适应性强等优点，使它的应用范围越来越广。它与空间优势的功能性磁共振成像（fMRI）等技术形成了相辅相成的并行发展之势。（赵仑，2010，p. 1） ERPs的不同认知成分对于研究符号化过程各个阶段的特征具有重要借鉴意义。ERP s成分众多，经典的ERPs成分有N1，N2，P1，P2，P3，LPP等。ERP s成分通常根据刺激产生时间阶段进行命名，如P3系列中的P300，表示事件产生300毫秒后出现的正波，N400 表示事件出现400毫秒以后产生的负波。不同的ERPs成分与不同阶段的认知反应相关，这对于符号化认知过程的深入分析具有重要参考价值。如P300与注意、辨认、决策、记忆等认知功能相密切相关，晚期正成分LPP与情绪加工有关，等等。下图是ERPs的工作原理，其中实验中的事件（event）是刺激人脑认知的符号，事件激发的脑电位活动（ERPs）就是人脑认知反应。ERPs实验将事件符号反复呈现给被试观看，并将刺激对应的脑电波截取后进行叠加、平均、滤波等一系列运算处理，产生如图B右侧的光滑的认知曲线。图中可以看出明显的N1，N2，P1，P2，P3等认知成分。  图4：ERPs分析原理示意图（图为P300成分分析示意图） （三）功能性核磁共振成像（fMRI） 功能性核磁共振成像（fMRI）是一种新兴的神经影像学方式，其原理是利用磁振造影来测量神经元活动所引发之血液动力的改变。fMRI可以观察认知加工过程中，大脑不同区域参与加工的情况。当认知过程产生时，参与认知加工的大脑区域会精确地在fMRI影像中显现出来，这对于符号认知的心智资源的脑区结构探索具有重要意义。由于fMRI空间优势而非时间优势、设备昂贵、实验环境要求较高等原因，目前没有被传播符号学研究广泛使用。但其精确的空间定位，以及简单直观的脑区影像分析等优势是脑电等其他方法不可替代的。 （四）心率等其他生理心理学方法 其他与认知活动相关的生理心理学方法还有心率（HR），通常与皮肤电传导反应（SC）、面部肌电反应（facial EMG）等情绪测量方法综合运用。心脏活动受神经系统分支中交感神经和副交感神经的双重支配，其中交感神经活动与情绪反应相关、副交感神经活动与认知资源分配相关。虽然有很多心理生理学研究表明，心率能被用于标示分配给对媒介化内容进行编码的认知资源，但由于任何观察到的心率变化都是受交感神经和副交感神经系统共同激活的一个复杂的结合。在传播符号学与认知传播研究中，心率是测量认知反应的常用方法，皮肤电与面部肌电是测量情绪反应常用的方法。因此，实际使用中，研究者通常将心率与测量情绪的皮肤电、肌电反应配合起来使用，以得出更加客观的结果。 四、结语：认知神经科学方法作为传播符号学的新范式 西比奥克曾经对符号学与认知科学的渊源有较为明确的论述，他提出“认知科学的另一个别名可以做符号学。”他的这一论断是建立在皮尔斯关于符号的观点基础上的，皮尔斯曾说过：“整个世界是被符号所渗透的。” 这也是符号学的基本世界观。“我们都有一个关于世界的精神或心理模式，一个除符号别无所有的内在化的心理模式。”这一看似唯心论的见解在某种程度上与量子力学的观点相一致。（1991，pp. 16-24）量子力学是关于研究主体与被研究客体之间的相互关系与作用的规律。一个经典的例子就是“薛定谔的猫”，量子力学告诉我们，这只猫的存在不是一个确定的状态，而是处在一个中间态，猫既不死也不活，直到观察者对其进行观察才能确定其的存在状态。在量子测量中，主体与客体的分界线变得模糊不清了。量子力学不再是完全客观的，还包括有主观因素。这与传播符号学关于世界是由解释者感知到的符号组成的观点具有一致性。实际上，量子力学虽然属于物理学领域，但也有其哲学基础，这主要涉及本体论基础与认识论基础。而符号学也具有哲学本体论与认识论上的基础，皮尔斯本人就是哲学家，其符号学或曰认知符号学直接具有哲学的高度。因此，从某种程度上看，人文科学和自然界学在一些基本层面上是统一的。 西比奥克作为符号学家，同时也是生物学家，因此他能够超越人类符号现象的局限，力求将整个生物界都纳入其考虑范围，在使语言学、生物学、神经认知科学、人类学、社会学、文化心理学等，通过“符号”这一核心枢纽被关联整合起来，并提出了环球符号学（global semiotics，或译为“全面符号学”）的构想。西比奥克的努力使得符号学既具备实证的自然科学基础又饱含深刻的人文关怀和生态意义，突出了符号学在整个学科生态中的地位与作用。 认知神经科学对于传播符号学关于人类情感与认知的加工机制与测量方法创新具有重要意义。因为情感与认知是生物基础、文化、社会三者之间相互作用的结果。即使是社会科学取向的情感与认知研究也不应排斥人脑的神经基础。“如果社会学家不乐于在理论上和实证研究中思考这个命题，那么他们将在下一个时代落后于自然科学对复杂情感的神经学研究”（特纳，2007，p. 255）。因此，探索符号认知背后的脑神经机制对于传播符号学乃至这个社会科学发展都具有重要意义。2000年美国国家科学基金会（NSF）将认知科学与纳米技术、生物技术、信息技术一道列为21世纪四项最重要的科学技术。中国科学院也将认知神经科学列为“新世纪将对人类产生重大影响的十大科技趋势”之一。笔者将认知神经科学方法引入传播符号学研究不仅范式与方法上的创新，也是理论探索的尝试。 本期编辑：唐亚丽  |
|
|
