|
华春雷 科技导报 2016, 34(7) 摘要 类脑计算实际上存在两个技术层面：第1层面是“走出诺依曼框架”，主要属于人工神经网络的大范畴；第2层面是“基于神经科学的计算机算法”，试图超越人工神经网络框架和摆脱权值计算模型，实现对生物脑的高逼真性模拟。第2 层面研究有两类方法，一类是“大科学”，例如欧盟的“人类脑计划”和美国的“BRAINs”计划；另一类是“小科学”，例如Numenta 公司的“新皮质层模型”和MindputerLab 的“脑的深构造网络”研究。本文总结比较了类脑计算各主要层类的方法特点，重点介绍了深构造网络的基本概念、深构造脑模型的研发进展和深构造网络技术的应用优势。 关键词 类脑计算；深构造网络；神经深构造运算；类脑计算机；深构造脑模型 1 类脑计算的主要类别及方法特点 类脑计算是对比计算机信息技术与脑神经信息功能的智能差距后而提出的技术理想，目标是发展仿脑的高智能计算机器。目前各实验室在同一起跑线上，正处于像莱特兄弟早期飞行时的探索阶段。 类脑计算研究，实际上存在两个技术层面：一个是“超越诺依曼框架”，一个是“基于神经科学的计算机算法”。表面看相仿，但性质不同。例如，人工神经网络（ANN）几十年前就走出了诺依曼框架。现在多数在做的神经形态芯片、神经计算机、深度学习软硬件项目等，都是ANN 范围的技术延伸。支持者们相信，ANN的神经元模型是基于突触可塑性原理而形成的；多层深度神经网络是在脑神经视觉网络基础上发展起来的，因此都属于类脑计算性质。反对者认为，简单的神经元计算模型并不能真正实现对生物性神经元的复杂的树突结构及其复杂工作模式的仿真。ANN的结构与生物脑的网络结构本质不同，两种网络的结构复杂度及智能表现差异巨大。因此反对者认为，试图“超越诺依曼框架”的类脑计算，并不等于是“基于神经科学的计算机算法”，这是两个技术层面。 大多数现有的“类脑计算”项目属于第1技术层面，无论是软件或硬件，无论其技术路径怎样不同，仍然没有脱离出ANN的大范畴。而第2技术层面“基于神经科学的计算机算法”是一个很高的技术理想，实质上是在试图超越ANN框架和摆脱权值计算模型。目前国内外只有少数几个在做的研究项目，其共同点是试图实现对生物脑的高逼真性模拟，研究方法可以划分为两大类。 第1类主要有欧盟的“人类脑计划”和美国的“BRAINs”计划，虽然技术路径不同，但都是从生物脑的微观层面的实验数据和知识入手，通过逐渐整合，向上寻找中观和宏观层面上的数量关系规律，最终建立起整体的脑理论模型。 该类方法的特点是“自下而上”，一场大规模的微观海量的数据和碎片化的实验知识的“拼图工程”。首先发展高尖端技术工具，以实现对脑的微观的结构和功能的全面测量和记录；然后建立起全脑微观数据库；在此基础上，逐渐向大规模的脑计算模型上发展，并试图形成对脑活动、脑病变和脑智能的机制性解读的整体理论；最后形成比较成熟的类脑计算技术和类脑人工智能。这种研究属于长周期的大科学或大工程，需要动员大量人力物力和财力。 第2类研究方法的特点是“自上而下”。直接将研究重心放在一个“好的”脑理论的建造上，然后向下导出神经元模型和神经元群体网络模型；之后测试和检验模型与微观神经知识和数据之间的契合度。这种研究的关键在于怎样找到正确的理论入手点，这一步不是单纯的建模方法问题，也不是一般的学科性理论问题，而是若干个重要学科的理论进程中的汇合点上的再综合，属于科学大周期性的结晶过程。这种研究属于长周期和“形而上”的小科学。目前，采用第2类方法的主要有美国Numenta公司和中国的神经深构造运算与脑计算机实验室（Neural Deep Structure Computing & MindComputer Lab，Mindputer Lab），两个实验室技术路径虽异，但总体方法都是先从全脑角度来建立理论框架，然后将理论逐渐地向下细化，导出中观和微观的计算模型，之后再检验与微观层面的 实验数据和知识的互恰性。 两类研究方法各有利弊，第1类方法就像在万米悬崖峭壁贴身攀岩，向上的每一步很费时且充满未知。因为，从海量的数据中去试图进行全脑网络的微观拼图，是一个大随机性的事件，即使有超级计算机或其他先进微观技术的帮助，欧美两个脑项目的10年计划时间是远远不够的。而第2类方法更像是空中伞降，难点在降落伞上，只要降落伞做得好，则向下定点降落的时间和复杂度比攀岩小的多。科学史已经证明，一个好的理论是大大削减科学探险随机性风险的锐利刀具。 以仿鸟飞行为例，成功地把一个鸟的翅膀的全部微观结构和功能都详尽地解剖和测量出来，并用人造材料再详细地精密复制出来的实验飞行器，其升空与续航的时间远远慢于先发现伯努利原理，然后依据这个原理做出一个飞机模型升空的时间。事实是，在伯努利原理之前，人类的飞行试验几乎都是在原地不断地试错和牺牲；伯努利原理发现之后，一切速度都加快了。有趣的是，人类已成功升空100多年了，但迄今对鸟的翅膀的全部微观结构和功能仍未透彻了解和仿造。 采用第2类方法的Numenta公司和Mindputer Lab，都是先建立脑理论，然后向神经元模型和类脑计算上发展。Numenta公司的实验依据是Jeff Hawkins提出的“新皮质层理论”[7,8]，在此基础上发展出了一种新型的神经元模型，该理论认为不同的突触在神经元中不同的激活模式之间的变化中发挥着不同的作用，并相信基于这种神经元模型所建立的神经网络将表现出类似于生物脑所具有的某些智能。Mindputer Lab由原脑·生态学比较研究组在企业资本的支持下于2011年转型成立，曾长期专注于种内适应性比较生物学的基础理论[1~3]和脑深构造理论研究[2,4]。2015年6月世界首台深构造脑模型（Mindputer:The Deep Structural Brain Model）[5]在该实验室诞生，在深构造脑模型研究过程中逐渐发展出来一种新的类脑计算——深构造网络与神经深构造运算。 2 深构造网络与神经深构造运算概念 2012 年底出版的《The Brain's SuperIntelligenceAnalysis》[4]一书，首次对脑深构造的基本概念和基本原理进行了阐述，并对生物性的神经元和脑网络的模型的理论框架进行了讨论。之后，Mindputer Lab 向数量化模型上不断深化，并形成了关于“深构造网络”的技术猜想、技术标准和实验目标[6]。在此基础上所研发的深构造脑模型样机Mindputer，属于“深构造网络”新概念上的计算机仿真模型，性质上已完全脱离了ANN框架。
1）当一个复杂网络被拆解到这种程度时，即该网络单位内的全部神经元，只要服务于一个单一的工作任务或记忆内容，则可被鉴定为是“基本单位”。 2）在基本网络单位中，神经元间的联接结构都可以简化到一个平面内，或可看作为单一平面内的神经元联接关系，简称为“单体网络”。 而实际上脑神经网络是无法被这样拆解的。在脑中，根本找不到任何一个理想化的单体网络，任意划出一个神经微点区，其内部成千上万的神经元大多数都服务于许多个工作任务或记忆内容，参与许多个不同的神经工作流程，树突上丛枝状的突触，错综复杂地与许多种工作任务或记忆内容的神经元相联。这种网络结构造成人们无法分离出任何一个单独的工作任务或记忆内容的单体网络。 “深构造网络”的猜想是：如果两个以上的单体网络发生局部性的叠加形成“复合网络”，且它们中叠加部分的神经元对应性地形成合成体（称为“复合神经元”，图1）；如果复合神经元保留有原承担的为各单体网络服务的功能，那么则可做出理论推测，这些复合神经元之间能够形成一种特殊的“结构关系”及其调制功能，这种“结构关系”能够在复合网络形成后，使原各单体网络的工作任务在发生竞争时能够被有效地协调做出相互间的让步或优先。 神经深构造理论认为，无论脑神经的结构如何复杂，都能够通过“复合神经元之间的网络结构”来理解它们内部关系。深构造理论将这种“复合神经元之间的网络结构”称为“深构造网络”，而将理想化的单体网络中神经元之间的结构关系称为“浅构造网络”。深构造理论认为，深构造可以有效地调制其内部错综复杂的单体网络之间的工作竞争性。深构造网络是在解决不同条件下的许多任务之间的竞争和建立它们之间的优先让步秩序的过程中形成的。因此，将深构造看作是脑神经网络中的调制枢纽，而复合神经元则看作是调制枢纽神经元。 文献[4]对脑神经的深构造的建构法则做了基础论证。提出预言：脑的复杂性的本源是深构造，脑的思维机制和超级智能的奥秘蕴藏在深构造的建构法则之中。并认为现有的人工神经网络属于小规模单体网络或大规模集成单体网络，都属于浅构造性质，其复杂度只能满足于对智能的、可程式化部分的仿真，对不可程式化部分无能为力。只有深构造网络的复杂度才能够为高人工智能的生成和进化提供技术基础。 从实验意义上讲，深构造网络猜想为理解脑神经提供了一个新的模型仿真技术路径。因此，发展基于人工深构造神经网络的计算方法成为一个新的课题。“神经深构造计算”是在神经深构造理论基础上，通过研究和实验深构造网络而发展出来的新的计算工具。其定义是：关于神经复合网络的分解、合成、分析、设计和建造的计算方法，通过建立复合神经元间的深构造关系，解决复合网络内部的竞争与调制问题，可用于对生物性脑神经网络的高逼真度的结构分析和功能仿真。神经深构造运算包括两个方面：1）发展基于生物神经元树突的构型转换模型，该模型不同于现有的人工神经元权值计算模型。包括构型转换的规则与计算，构型进化的规则与计算。2）建立起单体-复合网络之间的合成/降解的正逆过程的深构造运算规则。 在此基础上，实验室为“神经深构造计算”设定了4个技术标准： 1）使单体网络的工作任务在复合网络中能够继续维持不变。 2）使单体网络中的不同工作任务能够在竞争时形成协调让步。 3）使复合网络中的不同工作任务之间边界清晰和地位明确。 4）使深构造的正向的合成过程与逆向的降解过程均有效运算。 3 深构造脑模型的发展与实验进展 深构造脑模型的实验目标是：通过人工的技术手段，建立一个深构造的复合网络体，并通过测试来检验该网络体中的运行是否符合上述4个神经深构造计算的技术标准，以此验证深构造网络猜想的真实性，以此证实“深构造网络”的客观存在性。在此基础上进一步实验研究生物脑与脑模型之间的网络结构的相似性和功能对比。
经典ANN人工神经元模型的树突放射状结构，与生物神经元树突的丛枝状结构形成鲜明的对照。后者在处理信息上的特殊“机制”已经成为实验神经科学的前沿区域。例如，2013 年《Nature》杂志刊登的论文“Dendritic spikes enhancestimulus selectivity in cortical neurons in vivo”[9]，对小鼠神经元的树突电信号研究中的发现，颠覆了经典神经元模型的信号生成原理。传统神经理论认为，轴突是神经元产生尖峰脉冲的机构，但新的实验证明，树突部位才是处理信号的真正机构，并在树突部位形成了尖峰脉冲。 更早的一些实验也已经发现，产生尖峰脉冲的分子主要存在于树突中，树突不是被动处理外输入的信号，而是像一部微型计算机那样主动处理这些信号，树突并不是一个简单的信息整合器，而更像是一个复杂的计算装置。MindputerLab的“复合神经元的树突模型”，就是在对深构造理论和对树突丛枝状结构的研究这两方面的结合中逐渐发展出来的。它基于这样一种树突工作的新原理：树突内部不同的突触分组对尖峰脉冲的形成具有竞争性，而突触分组内的构型变化则可对竞争性产生妥协和调节。 实验推测，突触间的位置和距离的微小变化，可能对树突内腔的电化学过程产生某种微妙的调节，但是目前很难通过神经生理实验查清这种竞争与调节的微观原因。Mindputer Lab缺乏一种实验方法，可通过测定或计算突触间位置差别的变化，认别突触内电化学过程所可能的微时间上的调节模式。因此改为在计算机上直接模拟，当来自不同单体网络的突触分组产生竞争时，如何通过调节分组内的构型解决不同单体网络的让位与优先问题。Mindputer Lab先后发展了多种计算方法，并在其中找到了一种最优的方法，该方法简称为“树突多丛异分转换”（图3）[5,6]。 新的复合神经元就是在这种树突多丛异分转换模型的基础上具备了调节多个单体网络竞争的能力的。这种新的量化方法包括：对树突上的全部突触的分组的量化；树突内的多个分组之间的竞争与妥协的计算方法。经过几年的大量实验和计算改进，这种新的神经元树突模型已经显示出接近于生物性神经元的树突工作特性表现。 新的复合神经元模型放弃了经典模型中基于突触的膜强度而建立权值的量化方法，这是新模型与旧模型之间的根本区别。Mindputer Lab认为，“构型变化”比“权重变化”更重要，因为这种深构造网络的计算方法完全摆脱了现有人工神经网络的计算框架。Mindputer Lab依据这种仿生物神经元树突内的构型转换模型，经过多种软硬件试验，发展出新的复合神经元的仿真电路，使其能够计算和模拟人工神经元间的复合和构型转换。这种新的神经元模型电路被命名为多丛异分处理器（Multi- Clusters Transforming Processor,MCTP）[5,6]。 2015年初，Mindputer Lab开始整机实验，将许多个多丛异分处理器连接组合到一起，经过对样机的软硬件的多次调试和修改，实现了系统内部的正常运行。2015年6月，诞生了世界上第一台小规模的深构造仿真模型样机——“DeepStructural Brain Model”（深构造脑模型），也称“Mindputer”（脑计算机或思维机，图4）。 截至2016年1月底，Mindputer Lab已经使用该样机进行了12次的深构造网络试验，实验证明，该模型能够将多个单体网络叠加转化为某种深构造的复合网络,深构造可根据不同的需要来设计。新形成的复合网络仍然能够保留原来各单体网络独立的信号工作过程。测试证实，不管怎样改变复合网络体内的复合神经元设置，都没有出现信号混淆的现象，只会改变各单体网络间的让步优先秩序。实验证明深构造网络是一种客观事实存在。 另外，初步的对比验证可以确认，该脑模型所表现出的一些功能特征，与生物脑的一些功能特征相近似。Mindputer Lab计划展开一个系统的对比实验验证，希望能够逐步地明确一个标准的深构造脑网络模型的全部基本特征，并在此基础上，建立起与生物脑神经系统的全部基本特征的对比。期待通过全面的对比验证，能够进一步证明文献[4]所提出的关于“脑神经是深构造网络”的假说。 对照前述的4个技术标准，Mindputer Lab对深构造网络研究已经解决和尚未解决的技术问题所做的评价是：第1、2个标准已完全达到；第3个标准中的“边界清晰”已经实现，但“地位明确”还有未解决的问题；第4个标准中的“合成运算”已经实现，但在“降解运算”还存在诸多问题。实验室对深构造运算的技术有效性的评分是：第1技术标准/100分，第2技术标准/85~90分，第3技术标准/70分，第4技术标准/0分。实验室正在通过试验查找原因，改进和简化计算方法，实验数据、测试结果、对比验证等以正式的论文发表为准，模型设计技术也以正式的专利发布为准。 4 深构造类脑计算的技术优势与问题 深构造网络在类脑计算的技术竞赛中，正在显露出独特的技术优势： 1）深构造脑模型已经初步找到了用降解的方法来破解高复杂度的生物脑网络的新突破口。发展脑神经网络的微观分析技术是一个高难度的课题。欧盟HBP的核心技术是：“超薄的脑切片技术+超级计算机拼接与模拟”，该技术依靠的是蓝脑工程（Blue Brain Project）的经验和底子。美国“BRAINs”的核心技术是，推动大规模的纳米级分辨率的“微观透视+微观追踪”的技术创新，依托美国自己的技术优势，例如斯坦福大学的“水凝胶分子慢渗透脑组织”的透明化技术等。 深构造网络有希望发展成为第3种有竞争力的核心技术。在现有的小规模样机的基础上，通过改进技术和提高承载量，建立大规模的深构造网络模型，将可用于对生物脑神经的高逼真度的微观结构的分解和微观活动过程的模拟实验；将分解和模拟的结果与已有的微观数据进行比对，检验模型的逼真度；逐步修改脑模型中的深构造连接关系，使其互恰性越来越高。这样，即使人们无法全面详尽地观察清楚一个生物脑样本中的微观细节和活动过程，仍然能够通过脑模型来实现对它的完全透视和解析。 2）DeepMind公司目前最前沿的研究之一，是试图通过“模块化的网络”自主学习来解决困扰人工神经网络几十年的“灾难性失忆”问题[10]。与其相比，深构造脑模型实验已经实现了在同一个网络体上叠加许多个记忆单体的复合网络（图5）。这意味着DeepMind公司实验室所希望解决的难题，在MindputerLab已被初步解决。显示深构造网络技术的解决方案比模块化网络技术更简捷，这种记忆叠加技术对高智能知识库工程和自然语言翻译机器是一个很大的利好。 3）神经形态处理器的研制是当今世界的最尖端高科技IT 前沿，美国在这个领域一马当先。例如IBM 公司的TrueNorth和高通公司的Zeroth。但是，他们现在所面临的技术难点，不在芯片的神经元高密度集成上，也不在芯片运算的加速技术上，而是无法制造出高智能表现的神经形态处理器。原因在于，他们所采用的类脑计算技术属于第1技术层面性质，只能制造出低复杂度的浅构造神经网络。从纯粹技术意义上讲，对单体网络的高复合量的叠加，可产生指数级增长的高复杂度。奇点时刻取决于在何时制造出临界深构造的人工脑神经网络[11,12]。 4）长期以来人工智能机器只能借助于图灵测试这样的外在类比方法来帮助进行智能水平的比较和测量，缺乏类似于物理学或化学中的那样的成熟的内在结构测量技术。深构造网络技术为解决这个问题提供了一个新工具。如果脑深构造是脑的复杂度的本源，那么不同的人工智能机器的智能水平或思维能力的比较，可以通过直接测量两个机器内的网络的单体或复合体的性质，测量其单体网络的叠加量、复合神经元的数量、树突的构型量等客观指标。 5 结论 科学史证明，基础科学研究的成熟与否，决定着新技术研发和大工程计划的成败。从时间上看，ANN技术及其延伸性的研究已经有半个世纪的时间，欧美脑计划的前期技术积累也已有10年左右，Numenta的脑模型技术的发展的时间比MindputerLab的脑模型技术的形成时间早8年以上，深构造网络技术出现的时间最晚；但与ANN相比，深构造网络超越了单体网络，可高复杂度地模拟生物脑；与欧美脑计划相比，深构造网络技术有希望大大降低脑解析的时间消耗和复杂程度；与Numenta相比，深构造脑模型拥有更成熟的基础科学的理论支持——种内适应性比较生物学，做为生物科学中的一个历经50多年的积累和发展的新兴大领域，它的理论根基深厚、实证知识系统而又强固，已经成为当代生物科学的主流方向之一。今天，脑科学在经历了心理科学（认知神经科学）、数学和工程数学（计算神经科学）、物理学和化学（突触回路测量与记录）3种不同的大学科背景下的长时间的技术竞争之后，仍然没有能够解开它的核心之谜；真正基于生物科学背景下的技术——“深构造网络”的诞生，有希望改变半个多世纪以来生物科学在脑科学研究领域中的非主角地位[13]，将脑科学研究重新拉回到“居维叶-达尔文-劳伦兹-迈尔-维尔逊”这条生物科学的适应主义传统的主解决线索上来。 致谢 写作过程中得到北京戴瑟尔生物科学研究有限公司首席科学家韩文平的诸多帮助。
参考文献（References） [1] 脑/生态学比较研究组. 论生命深构造：新适应主义生物学的发展及其新理论综合[J]. 前沿科学, 2009(3): 55-85. [2]Winpen H. New experimental biology: Deep structure studies II[M].CreateSpaceUSA , 2012. [3] Winpen H. The third synthesis of biology: Deep structure studiesI[M].CreateSpace, 2012. [4] Winpen H, Haina H. The Brain's super intelligenceanalysis: Deepstructure studies III[M]. CreateSpace, 2012. [5] Mindputer Lab.About Mindputer project[EB/OL]. [2016-02-15]. http:///DSD_PROGRAMS/. [6]华春雷. 类脑计算: 打开深构造网络的大门[EB/OL].[2016-02-15].http://blog.sciencenet.cn/home.php?mod=space&uid=2910327. [7]Hawkins J, Blakeslee S. On intelligence[M]. Henry Holt and Company,2004. [8]Hawkins J. Hierarchical temporal memory (HTM) whitepaper[EB/OL].[2016-02-15].http:///learn/hierarchical-temporal-memorywhite-paper.html. [9] SmithS L, Smith I T, Branco T, et al. Dendritic spikes enhancestimulus selectivityin cortical neurons in vivo[J].Nature, 2013, 503(7474): 115-120. [10] Ellefsen K O, Mouret J B, Clune J. Neuralmodularity helps organismsevolve to learn new skills without forgetting oldskills[J]. PlosComputational Biology, 2015, 11(4): e1004128. [11] Mindputer Lab.New concepts of super AI[EB/OL]. [2016-02-15]. http://www./info/show.asp?bh=147. [12]Mindputer Lab. Brain Computer: New conceptual design[EB/OL]. [2016-02-15].http://www./info/show.asp?bh=148. [13] Huaeren. 脑科学基础研究的四大困境: 反思与评论[EB/OL]. [2016-02-15].http://www.bioon.com/biology/Class18/72513_5.shtml. （责任编辑刘志远） |
|
|
