|
通过文字和语音传递信息是人类特有的一种技能。人类语言的一个重要组成部分就是从口语和书面语中提取语义信息，而经典著作动辄几十万字，在快节奏的当代因循旧时烧灯续昼的方法读书越来越不现实，很多人转向利用零散时间听书。 听和读与大脑表征之间的精确联系至今仍不清楚。那么在阅读或者聆听的过程中，大脑认知和情感管控部分的受刺激情况是一样的吗，听和读带来的体验能否一致，盲人在听书时的感触和常人阅读时的感触有没有区别？ 图源：ww2.kqed.org 在2016年《Nature》封面文章《Semantic information in natural narrative speech is represented in complex maps that tile human cerebral cortex》中，加州大学伯克利分校格兰特实验室神经科学家们成功绘制出985个英语常用词汇的语义脑图。 他们创造了一种交互式建模脑图制作方案，可以预测不同类别的词汇可以激活大脑的哪些部分。最新的脑图聚焦于当人们阅读故事时，大脑活动的变化，仿佛一种神奇的“读心术”。 2019年8月19日，该实验室的神经科学家们在《Journal of Neuroscience》上再次发文《The Representation of Semantic Information Across Human Cerebral Cortex During Listening Versus Reading Is Invariant to Stimulus Modality》，通过几张脑图对本文开头的问题给出了答案。 Rubin等人在2000年就发现尽管视觉与听觉语言在处理路径的早期完全不同，但是读者和听者可以从同一个叙事故事中提取相近的信息，这表明人类大脑具有独立于输入体系之外的语义表达表征途径。 以前的神经影像学研究表明语义信息在大脑广泛的多个区域有表达，但是前人的研究主要关注于各种类型的语义信息表征在细节上是否存在共享，而非从整体广泛的角度分析。 证明这个问题最直接和有说服力的办法就是对同一个受试者在读和听同一篇故事时的脑图进行记录和对比。随着科技的发展，逐渐出现可以支持这一做法的技术。 该研究中六名男性志愿者和三名女性志愿者每个人都在功能性核磁共振扫描仪里呆了数个小时，其中两名志愿者也是这篇文章的作者之一，先听后读同样的The Moth Radio Hour系列广播的故事。 阅读场景中，故事以快速序列视觉呈现任务(rapid serial visual presentation task, RSVP )方式出现在志愿者眼前，与听觉场景中的故事出现速度保持精确地一致。 研究人员测量他们的脑血流量，通过体素编码进行3D交互式建模（voxelwise modeling，VM）。在这两种情况下，他们的大脑活动数据与故事的时间编码转录数据相匹配，其结果被输入计算机程序，该程序根据单词之间的关系对单词进行评分。 利用统计建模，研究人员根据语义关系在地图上排列成千上万个单词。例如，在动物类别下，可以找到“熊”、“猫”和“鱼”这些词。这些地图覆盖了至少三分之一的大脑皮层，使研究人员能够准确预测哪些单词会激活大脑的哪些部分。 最终在一个交互式的三维彩色编码地图上可以看到，按视觉、触觉、数字、位置、暴力、心理、情感和社交等类别分组的单词就像扁平皮质上活跃的蝴蝶一样呈现出来。大脑皮层是大脑灰质的盘绕表层，协调感觉和运动信息。 受试者听了流行的The Moth Radio Hour系列广播中的故事，然后再读同样的故事。利用功能磁共振成像扫描，研究人员在听和读的条件下扫描他们的大脑，比较他们两种状态下大脑活动数据，发现他们从两个数据集创建的语义地图实际上是相近的。用听或者读中某一种模式的脑图几乎可以准确预测出另一种模式下的脑图。 实验的结果让Deniz博士大吃一惊，他预计读者和听者处理语义信息的方式会有一些差别。但是他说道：“我没有想到在这两种感觉模式下，在大脑的大网络中的语义表达会有如此强的相似性。” 这项研究进一步证明不同的人有着相似的语义或词义脑图，为理解人们的内心思想和叙事模式打开了新的思路。此外，倘若能够制出完整可靠的脑图，并转化应用，这项研究从失读症到失语症对具有学习和言语障碍的患者都十分有意义，可以让他们与外部世界更好地交流。 这项研究的主要负责人Fatma Deniz博士是加州大学伯克利分校格兰特实验室神经科学博士后研究员，也是伯克利数据科学研究所的前数据科学研究员，她认为该研究表明，越来越多的人通过有声读物、广播等音频文件来获取信息，无论他们是在听还是在读同样的材料，他们都在以相似的方式处理语义信息。
至于临床应用，这些图谱可以用来比较健康人和中风、癫痫和脑损伤患者的语言处理能力。通过针对这些差异的处理，有助于患者恢复。 语义图谱还可以为诵读困难症的干预提供信息，诵读困难症是一种广泛的神经发育性语言处理障碍，使得患者无法阅读。如果将来我们能够发现诵读困难症患者的大脑在听有声读物或其他录音时大脑也具有丰富的语义语言表达，那么在教室中提供更多的音频材料对于这些患者大有裨益。 听觉处理障碍也是如此，在听觉处理障碍中，人们无法区分组成单词的声音或音位。对照听觉处理障碍患者的听和读时的语义地图对于探究其疾病的病因和治疗都非常有帮助。 Deniz计划在接下来针对非英语人群和基于语言的学习障碍患者进行大脑语义图谱的采集实验，延伸这项研究的意义，为更多的治疗方案的出现提供方向。 主要参考文献： The Representation of Semantic Information Across Human Cerebral Cortex During Listening Versus Reading Is Invariant to Stimulus Modality, Journal of Neuroscience (2019). DOI: 10.1523/JNEUROSCI.0675-19.2019 作者信息 编译作者：Juno（brainnews创作团队） 校审：Simon（brainnews编辑部） 前 文 阅 读 |
|
|
