|
1 Abstract 有些知识看起来很粗浅却难以描述，比如问一个人怎么使用剪刀，一般很难描述出来，但确实是以知识的形式储存在脑中。这些知识对人们的生活十分重要。传统的神经科学通常把人脑的知识表征（knowledge representation）看作是纯粹的对感知觉信息(sensory-derived information)的编码。本次讲座挑战了这个传统观点，提出新的观点，即知识表征以语言（language）和感知觉（sensory）两种方式进行编码。并利用一系列先天盲人的验证了这种观点。 2 Introduction  示例1 一个原本正常的年轻人，遭遇车祸后大脑受到损伤，视觉和手的运动都没有问题，但是给他一个剪刀，他知道这是剪刀，却丧失了如何使用剪刀的知识，即他不知道应该拿剪刀的把手，而是拿着锋利的刀口（见图1）。 图1. 大脑受到损伤的病人不会使用剪刀 示例2 另一个大脑受到损伤的病人，给他一个剪刀，他知道应该拿着剪刀的把手，却不是向前剪，而是向后剪（见图2）。 图2. 大脑受到损伤的病人不会使用剪刀 知识直接决定人对于输入大脑的感觉信号如何理解。接收外界刺激时，比如声波，人感受不到耳膜的震动，却能理解声音的意思；人也能理解很多外界刺激本身并不包含的信息，比如光信号，当人看到一瓶牛奶时，会想到全球变暖以及它的营养等等。示例1和示例2中，患者的大脑缺失了剪刀如何使用的知识，所以拿到剪刀时不能像正常人一样去使用。 那么知识在大脑中是如何存储和编码的？核磁共振仪被发明之后，研究者可以用它观察当人在完成特定任务时，大脑的活动情况。 让被试在核磁共振仪中，给被试看中文词语（如“本性”、“慈善”），观察哪一块脑区被激活。结果发现：首先是视觉皮层，随后又有非常多的脑区被激活，其中包括对字音、字义的理解等相关脑区（见图3）。 图3. 被试看到词语时的大脑活动情况  第一个问题是，知识存储在大脑的什么地方？当前认知神经科学界的共识是，知识在大脑中的储存位置几乎无处不在。在实验3中，被试看到词语以后，想到了与词语相关的各种类型的知识，激活了非常多的脑区。 第二个问题是，这些脑区实际上在做什么事情？当前的主流观点是，各脑区分别储存不同类型的感知觉信息，当这些脑区进行合作时就能完成各种各样的任务（与毕老师提出的感知觉与语言两条通路的新观点略有差异）。但是，知识表征本质上是外界信号在人脑中对应的映射，如果把一个人某方面的感知觉经验完全剥离掉（如先天盲人），在无法接收某一类外界感知觉信号的条件下，相应的知识表征会发生变化吗？ 英国哲学家洛克（Locke）曾提出一个Molyneux’s problem，即假设有一个人是先天盲人，现在长大了，他通过摸的方式知道了球和立方体的区别；现在他忽然恢复了视觉，只看不摸，他能不能区分出球和立方体？这个问题的本质就是：从不同的感官获得的相似信息，在大脑中存在共同的表征吗？比如说，大脑通过视觉和触觉获得的形状信息是不是同样的神经编码？ 示例3 2011年，MIT的研究人员到印度，给一些16岁左右的先天盲人做手术恢复视力。手术后让他们只通过看（不摸），尝试分辨出不同形状的乐高积木。最开始他们都做不到，但在一周之内，孩子们就可以完成任务，建立起形状与视觉的联系。 接下来，逐一介绍毕老师课题组的几个实验设计、结果和结果解读。通过这些试验，毕老师层层推进她的观点，引出其知识表征的新理论。 3 Methods 实验1: 形状相似性分析 让一组先天盲人（n=13）与两组健康人（组一 n=15，组二 n=16）听多组词语（来自于33个物体），每组词语包含两个物体名词（如光盘和钥匙、足球和香蕉），并评价每组物体的形状相似程度，由不相似到相似分成7个等级。将每一组被试的测试结果制作成形状相似性矩阵（33*33），颜色由蓝到红，表示相似程度越来越强。第一组正常人和第二组正常人测试结果的矩阵之间相关系数为0.84，先天盲人组与第一组正常人测试结果的矩阵之间相关系数也是0.84。这个结果说明：仅通过该测试，不能区分出先天盲人与正常人；换言之，他们对于物体形状的理解无明显差异（见图4）。详情请见参考文献【1】。 图4. 形状相似性矩阵。两组正常人和一组先天盲人测试结果的矩阵以及它们的相关系数 通常都会想到，先天盲人通过触觉得到形状信息，应该是存储在触觉相关的脑区；而正常人主要通过视觉得到形状信息，应该存储在视觉相关的脑区。这种想法正不正确呢？触觉相关的脑区是在顶叶位置，而视觉相关的脑区在后侧枕叶，实际上两者相距比较远。 实验2: 神经信号的表征相似性分析（Representational Similarity Analysis，RSA） 让一组先天盲人和一组正常人在核磁共振仪中听多个词语，每听到一个词语就做简单的判断（即判断该物体是否比手掌大，还是小。实验详情见参考文献【1】） ，获得全脑各体素（3*3*3mm）的激活强度高低。听完全部词语，在每个体素位置比较得出词和词之间在该位置的激活强度的相似性（称为“神经相似性”），将每个体素位置的分析结果生成矩阵。分别计算实验1中第一组正常人得到的矩阵,与本实验中两组被试在各体素位置的神经相似性矩阵的相关系数（见图5）。详情请见参考文献【1】。
图5.本实验中腹侧颞叶的体素位置的神经相似性矩阵，与实验1中第一组正常人的神经相似性矩阵，以及它们的相关系数 。图中**表示p<0.01 表征相似性分析见参考文献【2】。本研究中使用RSA的基本思路就是，如果某体素位置的神经相似性矩阵与实验1中被试评价形状相似性的矩阵相关性强，就说明该位置编码了形状信息。RSA方法还可以用于检测某体素位置是否编码颜色信息、听觉信息。 腹侧颞叶（ventral temporal cortex）主要是人的高级视觉皮层，所在位置的各体素的活动模式制作而成的矩阵，跟实验1中第一组正常人评价物体形状相似性的矩阵之间的相关系数为0.15（p<0.01），这在神经活动模式中属于比较高的相关，这就说明正常人的腹侧颞叶负责编码形状信息。两物体形状越相似，它们在腹侧颞叶的神经活动模式就越像；反过来，通过观察神经活动模式，也可以推测出被试认为两物体有多相似（某种意义上的神经解码）。 有趣的是，实验2的计算结果说明：先天盲人同样是在腹侧颞叶（高级视觉皮层）编码形状信息，尽管他们不可能通过视觉获得物体形状的知识。研究者在后续的分析中尝试用Searchlight算法在全脑寻找其他的编码形状信息的区域，却没有找到——即使是盲人的触觉区域也不编码形状信息。换言之，大脑中唯一编码形状信息的位置就是腹侧颞叶。这进一步说明了，大脑表征知识时选择何种编码方式，与信号本身的类型（如光信号、压力信号）无关，而是取决于信息内容的类型（如形状信息、软硬程度的信息）。 而示例3中证明了触觉和视觉得到的形状信息有着相同的编码。但是共同的编码，需要跟特定的感觉器官联系到一起，而建立这个联系需要一定的时间，所以恢复视力后的盲人孩子一开始不能做到仅仅通过视觉来判断积木的形状。  实验3: 颜色相似性分析 令一组先天盲人（n=14）和一组正常人（n=23）听多组蔬菜水果的词语（如香蕉和玉米、菠菜和大米等24个物体），并评价每组词语的颜色相似程度，从不相似到相似分7个等级，两组被试的结果分别得到颜色相似性矩阵，计算两个矩阵的相关系数，达到0.88 (见图6)。详情请见参考文献【3】。
图6. 颜色相似性矩阵。正常人和先天盲人评价蔬菜水果的颜色相似性的矩阵，及其相关系数 对于先天盲人，颜色是完全无法从感知觉获得的知识。实验3说明先天盲人只通过语言、抽象、推理，就可以获得与正常人同样水平的颜色认知，那么先天盲人对颜色的编码与正常人编码的方式是否有相同之处呢？ 仍然用表征相似性分析，找到先天性盲人和正常人大脑中编码颜色知识的相关脑区。发现先天盲人只在左侧颞叶前部（left anterior temporallobe，L-ATL）编码颜色知识，而正常人在左侧后梭状回（leftposterior fusiform gyrus, L-pFG）和左侧颞叶前部都编码颜色知识。那么正常人和先天盲人共有的编码颜色的脑区（左侧颞叶前部）一定是完全由非感知觉（non-sensory derived，又称作language derived）信息组成的。毕老师提出的双重编码模型（见图7），与当前人脑知识表征的主流观点不同，关键在于：旧观点认为所有知识都与感知觉信息相关，但新模型认为大脑中除了感知觉编码（pVOTC和ventral ATL）之外，还存在一块非感知觉的语言编码区域（dorsal ATL）。
实验4：先天盲人的大脑如何编码“彩虹”和“雨”的信息 对比正常人和先天盲人对抽象的“彩虹”和具象的“雨”的神经信号，发现：正常人在感知觉脑区（ventral ATL）和语言脑区（dorsal ATL）听到“雨”和“彩虹”两个词语时的反应强度基本相同；而先天盲人在感知觉脑区对“雨”的反应强度大于“彩虹”，在语言脑区对“彩虹”的反应强度大于“雨”（见图8）。详情见参考文献【4】。
图8. 先天盲人和正常人听到“雨”和“彩虹”时感知觉脑区和非感知觉脑区的不同反应强度 彩虹对先天盲人来说非常抽象，但是雨却是具象的，可以通过温度、湿度等获得具体的感知觉信息。所以当先天盲人听到“彩虹”时，更需要non-sensory 的语言编码，而听到“雨”时更需要sensory编码。 实验1-4共同说明了，人脑中除了感知觉（sensory derived）信息的编码，还存在着一种跟语言、符号相关的编码系统。 实验5: 一组先天盲人（n=13）在核磁共振仪中听各种物体的词语，一组正常人（n=16）在核磁共振仪中单独只听各种物体的词语，然后单独只看各种物体的照片。在一个block中呈现size不断变大的物体序列，或随机size的物体序列，并做简单的判断（不断变大vs随机） 。这些词语包括动物（如虫子、鱼）和人造物（如楼房、冰箱）。记录被试听到这些词语时（或看到这些物体的照片时）大脑各体素位置的反应强度，并制作成雷达图（见图9）。详情见参考文献【5】和【6】。
图9. 雷达图。被试听到词语或看到照片时不同脑区的反应强度 实验5中，脑区用红色表示三组数据（正常人看、正常人听、先天盲人听）的相关性高，用蓝色表示相关性低。在左下角雷达图对应的红色脑区，正常人听词（红线）和盲人听词（蓝线）几乎重合；三组数据中对于楼房、场景、冰箱、沙发等词语或照片的反应强度都较大，而对于动物词语或照片的反应活动强度都较小；可见在此位置，三组数据的相关性非常高。 但在右侧雷达图对应的蓝色脑区，正常人看到动物的反应强度大于看到人造物；而正常人听到词语，无论是人造物还是动物，反应都差不多；先天盲人听到词语，无论是人造物还是动物，反应也都差不多；可见在此位置，先天盲人听和正常人听两组数据之间的相关性比较高，但是和正常人看的那一组数据相关性都比较低。 那么视觉经验如何影响人脑对一个物体的表征？对于一些人造物（比如楼房、沙发等），是否具有视觉经验（先天盲人与正常人的区别）不会引起三组数据在各脑区反应强度的相关性上的较大差异；但对于动物，则会引起较大差异。然而有趣的是，与动物有关的视觉经验能引起的差异（各脑区反应强度的相关性），仅发生在正常人看的情况，不发生在正常人听与先天盲人听的情况。 那么为什么视觉经验会引起这样的差异呢？一种可能的解释是与知觉加工的目的有关。这种假说认为，知觉信息的加工不是单纯地给物体分类贴上标签，也不是总要先识别出是什么才能激活相关的知识系统。计算知觉信息的核心目的之一，是要知道如何采取反应（response）从而在环境中更好地生存下去，知识表征也是为与此相同的目的服务。 知觉加工总体上是逐层递进的，按照从简单到复杂的认知过程（如看到刀，先辨别它的颜色，然后是它的大概形状，再识别它是一把刀），同时每一步都尽量激活最有利于生存的相关知识于是就可以最快地采取反应（responsemapping）（见图10）。
图10. 知觉加工的过程示意图。（下图）从下到上分别为大脑感觉系统（perceptual system）加工信息的不同阶段，包括底层视觉特征层（low-levelvisual features）、中层复杂形状特征层（mid-level complex form feature(domain)）、物体特异性特征层（object-specific form(knowledge)）;（上图）反应系统，包括操控（manipulation）、导航（navigation）、反抗或逃逸（fight/flight）。反应系统需要结合感觉系统不同层的信息，而具体用到哪一层感觉系统的信息又跟是对何种物体的何种反应有关。 比如在图10的第2层（domain层），当看到桌子时，在这一层 大脑还尚不知道它是桌子，也尚未提取到与桌子相关的知识信息，只知道它是方的，此时一些相关的知觉信号就已经可以提示自己要怎么行动，比如不要撞上去。但对于动物，它的形状不一定能提示我们应该采取什么反应，比如蛇跟蚯蚓的形状、小狗和狼的形状都很相似。所以在识别动物之前，知觉信号无法提示我们该采取什么反应最有利于生存。什么样的信息能提示人采取什么样的反应，对物体表征和知识提取的方式的影响非常大。这就解释了实验5中，为什么视觉经验对结果的影响会因为物体是动物还是人造物而产生差别。 特定的知觉信号对知识表征是否重要，会受到知识类型的影响。在大脑对信号的处理还没有识别出物体之前的过程中，如果特定知识信号能提示其他的知觉信息，则视觉信号不重要。知觉信号的表征方式与“不同系统之间的知识的对应关系”可能有很大关系。 那么从神经生物学的角度，特定的感知信号如何激活人要采取的反应？以及特定的感知信号如何激活其他类型的感知信号？有一些证据是表明，两个系统之间、两种感知觉信号之间、系统与反应之间的大脑连接（brain connection）纤维可以存储这些映射（mapping）信息。 人脑的知识表征有两种形式，分别为sensory derived与language derived。编码感知觉信号(sensory derived)的过程，还跟该信号在response mapping中发挥什么样作用有关。非感知觉信号（language derived）的编码则是靠高级的统计规律，打个比方，Siri也能回答玫瑰花的颜色是红色，但Siri并不会编码颜色的感知觉信息。 实验6: 把360个不同的词语念给一组人类被试听，记录大脑各体素位置的反应强度；再把相同的词语输入给谷歌的word2vec【见文末注释1】，获得word embedding ；在人脑和word2vec这两套系统中，分别记录词和词之间的相关程度，并把结果制作成矩阵。用表征相似性分析的方法，在人类全脑中去寻找和word2vec的编码方式相似的脑区，从而发现了人脑中对语言进行处理的脑区（language system）（见图11）。此为未发表结果。
图11. 用表征相似性分析寻找人脑与word2vec编码方式相似的脑 4 Summary 知识表征的sensory-derived部分并非根据感觉信号的类型选择编码方式，而是根据其中的信息类型（如形状信息、触觉信息）选择编码方式。根据实验7、8的结果，提出人脑的知识表征还有一个language-derived的编码方式。可能在回答不同的问题时、在不同的情境下，人脑更依赖于其中的一个系统；对不同的词、不同的知识，两个编码系统的重要性也有所不同。 有新的、正在进行的研究关注的问题是，如果sensory-derived编码系统和language-derived编码系统产生了冲突，比如色盲看到的颜色跟别人告诉他的颜色不同，这种情况下会发生什么？ 传统神经科学捉到知识表征时十分强调sensory-derived的编码方式，人工智能则更加注重language-derived的编码方式。在人脑中，这两种编码方式都存在，缺一不可。 【注释1】Word2vec是一组用于生成单词嵌入的相关模型。这些模型是浅的两层的神经网络，被训练来重建文字的语境。Word2vec以一个大型文本语料库作为输入，并生成一个向量空间（通常有几百个维度），语料库中的每个唯一单词都在空间中分配一个对应的向量。单词向量被放置在向量空间中，使得语料库中具有共同上下文的单词在向量空间中的距离近，而非共同上下文的单词距离远。 【1】Peelen, M., He, C., Han, Z, Caramazza, A., Bi,Y. (2014). Nonvisual and visual object shape representations inoccipitotemporal cortex: evidence from congenitally blind and sighted adults. The Journal of Neuroscience, 34(1),163-170 【2】Kriegeskorte, N., Mur, M., and Bandettini, P.(2008). Representational Similarity Analysis – Connecting the Branches ofSystems Neuroscience. Front Syst Neurosci.https:// doi:10.3389/neuro.06.004.2008 【3】Wang, X., Men, W., Gao, J., Caramazza, A.,& Bi, Y. (2020). Two Forms of Knowledge Representations in the HumanBrain. Neuron. 107, 1-11. 【4】Striemamit, E., Wang, X., Bi, Y., &Caramazza, A. (2018). Neural representation of visual concepts in people bornblind. Nature Communications, 9(1). 【5】Bi, Y., Wang, X., & Caramazza, A. (2016).Object Domain and Modality in the Ventral Visual Pathway. Trends incognitive sciences, 20(4), 282–290. https:///10.1016/j.tics.2016.02.002 【6】Wang, X., Peelen, M. V., Han, Z., He, C.,Caramazza, A., & Bi, Y. (2015). How Visual Is the Visual Cortex? ComparingConnectional and Functional Fingerprints between Congenitally Blind and SightedIndividuals. The Journal of neuroscience, 35(36),12545–12559. https:///10.1523/JNEUROSCI.3914-14.2015 文中图片来源：毕彦超老师讲座截图 本文作者：NCC lab 冯浩圣 |
|
|
