|
认知过程的信息处理和新型人工智能系统
一、引言 知识创新是对未被人类认识的客观物质世界的正确描述,感知与认知的科学问题与之密切相关。人脑是我们所知道的最有效的生物智能系统,它具有感知、识别、学习、联想、记忆、推理等功能。研究人脑的这些功能并以机器来实现一直是科学发展中最有意义和极具挑战性的重大问题。人类大脑皮层的结构具备了复杂精确的分析与综合的能力并适应人类抽象逻辑思维的需要。深入研究认知过程的信息处理和基于人类感知与认知机理的智能化信息处理将对整个自然科学和技术科学产生深远和重大的影响。由于社会生产和实践的需要,人们对认知问题日益感兴趣。脑科学、信息科学、计算神经学和神经生理学等学科的发展,使得认知科学与信息科学相结合成为可能,形成了多学科交又研究的特点。基于认知机理的智能信息处理在理论与方法上的突破,有可能带动未来信息科学突破性的发展。因此将认知科学与信息科学领域密切结合,加强我国在这一交叉学科领域的基础性、独创性的研究,解决认知科学和信息科学发展中重大基础理论问题,形成智能信息处理技术的科学基础,带动我国经济与社会发展中基础技术科学乃至国家安全所涉及的智能信息处理关键技术的发展,并且为人类探索脑科学中的重大基础理论问题做出贡献都是非常迫切和必要的。 经验主义和理性主义的模型与解释在很大程度上影响着人类的认知过程。因此,对于智能和机器的关系,应该合理地发挥经验的作用,从进化的角度把智能活动看成动态发展的过程。智能理论所面对的课题一般具有“环境一问题一目的一求解”的形式,将联结主义的神经网络理论、基于符号主义的专家系统理论和基于进化论的人工生命这三大研究领域有机地结合起来,有可能实现一类新型人工智能系统和智能化信息处理方法。 新一代媒体(next media)和以计算机网络为基础的智能化通讯(intelligent communication)系统的研究与应用将成为21世纪信息科学与技术领域划时代的重要标志。人的语言、表情、姿态等都将被机器所理解,并转化成一系列指令,从而实现信息的获取与转送。随着机器的语言、图像等识别能力的提高,也会为信息系统提供新的安全技术。这些以自然语言和图像的理解为基础的认知过程的信息处理理论与实现技术的研究已引起了许多国家的政府和科学家的广泛关注。 近年来,国际信息科学界非常重视认知科学与智能信息处理的研究,许多著名刊物纷纷出专辑探讨基于感知、认知的智能信号处理的理论和方法,比如:1997年Neural Networks杂志出专辑讨论“意识与神经网络”;1997年IEEE电路与系统汇刊讨论了非线性混沌理论、混沌信号处理与控制方法;1999年IEEE神经网络汇刊出专辑讨论将神经网络模型、模糊推理和表示、概率推理等相结合的混合计算智能模型。特别是一批诺贝尔奖获得者(Circk F H, Eccles J C,Edelman G M,Josephson B D)和著名的人工智能创始人Minsky M,他们在从事各自领域的研究的同时,也都在探讨意识和认知问题。可见国际学术界对认知科学与信息科学的结合和交叉,以及智能化信息处理新理论研究的重视,也表明认知过程的信息处理和新型人工智能系统的研究和应用正处于一个新的发展时期的开端。我国的学者近几年也以极大的热情关注和正在从事这一前沿科学的研究问题,并取得具有一定特色的研究成果,国家自然科学基金委员会给予了极大的重视。 二、认知模型(信息融合)本身就可作为一种智能机器的原型 人类智能的发展经历着已有认知结构与不断发展的认知进行交互并互为因果的超循环过程。研究表明,人类大脑皮层的结构具备了复杂精确的分析与综合的能力并适应人类抽象逻辑思维的需要。人对外部世界的认知过程,本质上是一个多传感信息的融合过程。人脑通过对多通道信息的相互监督(self-supervision)完成学习,从而获得对外部事物的知识;通过对多传感信息的融合,实现对目标的识别与理解;并可以根据已有知识对各传感器实行控制。这种前馈和反馈过程的完美结合,使人脑具有极高的智能水平,即使在噪声环境下或传感信息不可靠时,人脑也能有效地完成其智能活动。这为构造智能系统提供了完美的典范。认知模型本身就可作为一种智能机器的原型,并能为新型的人工智能系统的设计提供新的科学依据和理论指导。 长期以来,人们在信息处理中的认知模型和基于感知的智能化信息处理研究领域做了不少工作,取得了很大进展,但其水平距人们所期望的还相差甚远。这主要是由于所使用的方法与人脑的认知信息处理过程有着重大差别,如频谱分析方法、统计学方法和句法分析以及传统的人工智能方法等,不具有开放性、动态性和灵活性等智能信息处理方法所应有的特征,因而它们只在特殊的应用领域内取得有限的成功。 目前认知科学所取得的成就主要集中在认知心理学理论和认知基本过程两方面。在认知心理学理论方面,将人脑看作类似于计算机的信息加工系统,将心理过程看作是符号序列的信息加工过程,由此提出“物理符号系统”和“平行分布加工”的观点。这两种观点极大地促进了信息科学的计算理论的发展。认知是由三个基本要素组成:记忆、注意和意识。关于“记忆”,Baddly和Tulving分别提出了“工作记忆”和“多重记忆系统”的思想;关于“注意”,Trasman提出了“特征绑定理论”;而关于“意识”,Baars提出了“整体工作空间理论(剧院模型)”。 认知的载体是大脑,脑是一个复杂系统。脑的复杂性不仅表现在它是由大量的神经元(约1000亿个神经元)组成,更重要的是神经元间存在着异常复杂的联系,这些联系在方向上以多重前馈和反馈,在分布上以会聚和发散等多种形式,形成一个复杂的网络—脑。另一方面,脑的整体结构和功能也是复杂的。在结构上有分子、亚细胞、细胞、核团、系统等。而在功能上有不同层次、不同部位的神经元功能存在着区别。如视觉系统中不同的神经元,它们分别对由简单到愈来愈复杂的视觉图像(如运动、边缘、形状、颜色和纹理等)产生刺激和反应,并在脑皮层由这些反应得出外部世界的描述(图1)。生物视觉系统中这些功能不同的细胞已在动物中被揭示。而对人脑来说还可以有对不同抽象级别的概念响应的细胞。人类具有完善的视觉系统可以在瞬息感知外部世界, 这是智能化视觉信息处理系统的一个典范,其物质基础就是人的完美的视觉器官和复杂而完善的以神经元为基本组成单元的中枢神经系统。 脑的基本功能即认知的信息处理功能是对环境信息作合适的处理和存贮,并作出决策或反应。而脑功能的实现依赖于多个脑区大量神经元共同活动和整合(iintelligent),即作为一个系统而发挥作用。例`如人脑与鼠脑在分子层次上是相当一致的,但其高级功能有很大差别,这些差别是由于在神经元以上层次的组织与联系的差别造成的,即是属于系统水平上的问题。因此,我们很难用分子生物学来解释感知、记忆和思维等脑的高级功能。目前,尽管脑科学和脑功能成像的研究已有了很大的进展,但要进一步了解脑的多样性和其信息处理的灵活性,揭示脑的性能和工作原理,我们在理论和实践上仍然面临着巨大的困难。 当前的发展趋势是将认知科学、信息科学、神经科学交叉,探索人类复杂认知活动的神经和遗传学基础,研究人类认知过程的信息表达和整合,以及复杂社会和信息环境中的认知问题,从而为新的计算理论、信息处理的认知模型奠定科学基础。 三、 正确认识当代脑研究中的方法学和理论 正确认识当代脑研究中的方法学和理论问题,对于认知过程中的信息处理和新型人工智能系统的发展具有十分重要的理论和现实意义。 传统的人工智能研究在类比人类智能活动的研究中已取得一系列成果。80年代初,美国MIT的Marr教授结合图像处理、心理物理学和神经生理学的研究成果,从信息处理系统的角度提出了第一个较为完整的视觉系统框架理论。近20年来,人们对Marr基本理论框架中所提出的各个研究层次与视觉系统的三个不同阶段(初级、中级和高级)中的各种功能模块进行了大量的研究。尽管Marr的这一理论已被大量的实践证明是不完善的,但在一些应用的层次上还是被广大的从事计算机视觉研究的学者们基本接受。 迄今为止,脑认知功能研究的一些基本理论概括为以下要点:(l)认知功能与脑结构间存在着定位关系,这已被脑功能成像的实验结果所证实;(2)脑细胞精细分工,检测外间世界的特征并以某种调频式编码表达这些特征;(3)对离散符号表征的信息加工由底至顶逐层进行,在高层中枢内实现着特征整合,大量特征的初期检测是并行性的,而特征整合是串行的,从并行到串行的变换由选择性注意机制加以控制;(4)脑与计算机异构同功,尽管两者的结构及物质基础具有巨大的区别,但进行智能活动的符号处理过程是相似的,因此人类智能是可计算的;(5)认知科学理论上可概括为物理符号论、亚符号论和模块论。 近年来一些学者根据脑认知功能研究的新进展,对上述基本理论要点提出了不同的观点。如Gibson的生态心理学理论。他认为视觉认知过程不是被动地对环境的响应,而是一种主动行为。人们在环境信息的刺激下,通过眼动、走动,改变观察点,从动态的信息流中抽取不变性,在交互作用下产生知觉。这种观点被应用于近年来提出的主动视觉系统中(如图2)。生态理论或环境依存的认知理论提出:人的认知过程或智能并不是每个孤立个体脑内发生的符号加工过程;它不仅制约于生物界系统演化和人类个体发育、发展,还制约于人类社会文明发展。因此人脑与计算机无论就其结构还是功能过程而言都有巨大差别。对人类认知活动用现有的任何图灵计算以及简单的并行分布处理都无法揭露其全部实质。由此可见,生态理论强调人脑与电脑的本质差异,对认知科学理论发生了重大冲击作用。 人脑是一个非完整信息处理系统,这一特征在感知的层次上是非常明显的。如视网膜上光感受器的分布式不均匀的。大部分光感受器位于中央黄斑区,以黄斑区为中心,随离心率的增长,光感受的分布密度迅速下降,呈现出一种形状扩散的格式(如图a3所示,Y. Zeevi等)。同时,对从视网膜到皮层的传输通路的研究也表明,视网膜是以一种拓扑方式投影到视觉皮层的,即特定的皮层区仅有其特定的感受野。皮层相当大的区域与中央视觉皮层有关。从图3a中可以清楚的看到以下特点:(l)视网膜中央凹的黄斑区内锥体细胞密度最大,有最高的光采样密度;(2)随着离心率的增大,锥体细胞分布密度降低,对形状和颜色的视觉信息处理能力也随之降低。以上说明了高等动物的视觉感知采样是非均匀的,形成一个非完整信息处理系统。图3b给出了应用小波变换实现的非均匀采样,这种采样方法使初期视觉计算模型更符合生物视觉机理,可真实模拟生物视网膜对视觉信息非均匀采样及生物视觉系统所具有选择注意能力的特征,能进一步降低视觉计算复杂度。这种方法是建立在对生物视觉的实验和观察的基础之上的。 事实上,人类的许多科学成就都来自对自然界中相应事物的观察和深人研究,例如人类研究了鸟类的飞行从而发明了飞机。同样,对信息的加工处理自然界也给我们提供了一个非常完美的范例—人脑。因而智能信息处理系统的研究离不开对大脑认知功能深人全面的研究。自从人工智能形成一个学科以来,科学家们遵循着一条明确的指导思想,即研究和总结人类思维的普遍规律,并用计算机模拟它的实现。正如飞机并不是简单模拟鸟而发明的,因此智能信息处理系统的研究也不应该机械照搬人脑认知模式。 人脑对单一传感信息的处理也表现出独特的性能。例如,在视觉信息处理中,人可以根据一些抽象描述(概念化符号)结合已有知识,经逻辑推理自顶向下准确地把握外部事物,这种通过对事物特征信息的整合来感知事物的绑定(bingding)机制,使人可以有选择地处理视觉信息。大脑在处理视觉信息的过程中,表现出高度的并行性(虽然这与通常意义的并行可能有很大的不同),可以有效地划分视觉任务,通过对局部信息的时一空整合(感舜野逐级综合)实现视觉感知,这是一个自底向上的过程,该过程具有明显的多尺度(scaling)特征。同时,串行计算在局部特征整合和逻辑推理中也起着重要的作用。大脑的选择性注意机制使视觉系统只注意景物中感兴趣的视觉激励而淡化背景,同时对一系列场景的变化也仅关注场景中的目标。人类认知的自底向上和自顶而下的闭环多层反馈式信息处理机制(如图4所示)和多传感信息的融合,并行与串行的相互交织,保证了大脑能高效准确地感知外部世界。 目前人对其自身智能活动的认识还处在较低的水平上,但随着神经生物学和神经生理学研究的不断深人,正逐步揭示出可供机器智能研究借鉴的物质结构和信息处理机制。人的视觉、听觉、触觉等感觉器官分别接收外部世界的不同信息,这些信息经大脑处理后,获得对场景的理解。不同的感觉系统分别敏感于不同的信息,如视觉系统对景物或目标的空间位置、空一时对比度、形状和颜色等敏感,听觉则对信号的频率敏感,而触觉对物质或物体的材质和表面结构敏感,这些信息又在认知过程中相互印证(监督)。研究在智能机器系统中如何进行多传感信息的处理与融合是当前智能信息处理中所面临的非常重要的课题。 大脑的思维能对信息进行创造性的加工,产生出人类的新信息、新知识。人的认知是从具体到抽象,从简单到复杂,从低级到高级的发展过程。这对探讨利用机器从浩瀚杂乱的网络环境中挖掘所需要的知识具有重要的借鉴意义。 四、重要的基础研究内容 1.复杂系统和信息环境中认知模型和行为控制 在真实的复杂背景下,对认知过程进行整体、系统研究。根据人的认知所依赖的物质基础,建造类似的网络模型已成为研究者所追求的目标。网络的拓扑结构和系统规模都会直接制约其信息处理能力,如何实现网络结构的自动生长,建造适度规模的多模块系统是首先要解决的问题。要解决的另一个问题是如何控制各功能模块间的信息通讯和整合,使整个系统协调一致地工作。在复杂工业系统的故障快速处理、系统重构和修复,复杂环境中仿人机器人的设计和制造,社会系统中重大事变(战争、自然灾害、金融危机等)的应急指挥和组织系统等都存在着如何适应外部世界不确定性的动态变化的问题。应用传统的人工智能方法解决这类问题遇到了无法逾越的障碍。而人类的行为特征,充分反映了对外界环境的反应和自适应能力。研究基于人类行为特征的信息处理原理和方法,即研究系统在不确定性动态环境中的反应能力和对外界事物充分感知的能力。 (1)行为控制 复杂系统的自动运行需要有效的控制机制来保证。基于传统人工智能方法的控制策略已不能适应真正意义的自动系统。关于集感觉、认知和操作能力于一体的类人机器人(humanoid robots)的研究在国际上已受到了广泛的关注。这样的系统可以采用人机对话的方式接受任务,人的语言、手势、面部表情等都可以被机器所理解,并把它们转化为一系列控制指令。系统与人和环境的交互将成为该领域发展的突破口。人的肢体运动控制所依赖的认知基础的研究也对建造自治系统有重要的参考价值。 (2)适应性行为机制与超维数学习 用于信息处理的适应性行为机制与超维数学习(trans-dimensional leaning)算法的研究是当前人工智能学科正在形成的一个新的分支。在利用神经网络完成某种模式识别任务时,往往需要确定究竟哪种网络结构最适合于给定的模式识别问题,同时还需要给出网络的最小结构。此外,对于自治模式识别算法来说自身必须具备如何表示知识、如何学习新的知识的能力,而不需要人为干预。 (3)自然语言加工的脑机制 人类学习语言的能力或辨认他人面孔的能力是人脑的一种高级认知功能。人脑中一定存在着一套极其复杂的普遍语法规则,它以某种方式内化于人的大脑中,构成了人类认知能力的基础。创造和使用自然语言是人类高度智能的表现,对自然语言理解的研究有助于探索人类智能的奥秘和认识大脑思维的本质。 (4)逆问题—病态问题求解 人脑通过感觉器官感知外部世界,获取相应的知识;又根据有限的知识,经分析、判断、决策等思维活动进一步指导其感知过程。仅根据有限的知识去推知客观实在,实际上是一个病态问题。人可以根据其所处环境中的其它外部信息(约束条件)或启发获得问题的完满解答。在机器智能研究中经常遇到的数据恢复、模式识别等问题都是病态问题。寻求基于知识的逆问题求解算法将推动智能化信息处理理论与实现技术的研究。 (5)信息环境的生态问题 随着因特网的普及,数字媒体的版权保护成为一个迫切需要解决的问题。另外,有用和无用信息的指数级增长,人们对多媒体数据的检索、存储、加工等提出了更高的要求。通过知觉和学习功能来编写智能化软件;按需求获取散布于全球互联网的多媒体信息;通过视觉、听觉,自我判断外界情况,交互进行信息处理,理解信息内容;自动清除诸如网络上的有害信息;信息隐含,基于知识的图像理解,自然语言理解,通过自动学习并毫无矛盾地整理知识库的基础理论等。 2.认知过程中的交互行为与选择注意机制 人类感知的经验表明:人具有从复杂环境中搜索特定目标,并对目标信息进行有选择处理的能力。这种搜索与选择的过程被称为注意力集中(focus attention)。在信息爆炸的时代,快捷有效地获取所需的信息是人类所面临的一大难题。如何将人的感知觉系统所具有的环境聚焦(enviroment focus)和自聚焦(self-focus)机制应用于多模块系统的学习,根据处理任务确定注意网络的输人,使整个系统在注意子系统的控制之下有效地完成信息处理任务,有可能为上述问题的解决提供新的途径。 在主动计算机视觉中,选择注意可分为两个层次:由数据驱动、自底向上的独立于内容和语义的低级视觉注意;由知识驱动、自顶向下的基于内容和语义的高级视觉注意。对于基于纯数据驱动的视觉注意,感兴趣区域的选择与边缘、角度、曲率、对称性等特征的提取和整合有关;而基于内容语义的高级视觉注意则与视觉任务、物体和环境的知识有关,并且与模式识别和匹配密不可分,高级注意建立在低级注意的基础上并对低级注意具有反馈作用。然而以往的一些相关人工视觉研究主要都集中在低级视觉注意上,而在高级视觉注意以及低级注意与高级注意的互动方面所做的研究工作甚少。视觉注意机制应建立在高级注意和低级注意交互的基础上,从自底向上和自顶向下两个方向同时实现视觉注意。一些基础的研究问题有:选择与注意力集中机制;视觉皮层的反馈机制;感受野与非线性视觉处理等。 交互行为理论是这样看待视觉问题的:首先视觉不是孤立地起作用,而是复杂的行为系统的一部分;其次,视觉计算是动态的,通常并不需要一次将所有的问题都计算清楚,而是对所需要的信息加以计算;第三,视觉计算应该是自适应的,视觉系统的特性应该随着与外界的交互而变化。因此,交互行为理论认为,视觉计算是外界环境和视觉感知器共同作用的结果,两者缺一不可。一旦行为被认为是视觉计算的基本要素,通常表示就显得不重要了,有了行为的参与,一些计算问题如光流、表面方向和深度的计算通过行为假设就成为受约束的而变得易于解决。 初级视觉中的全局和局部感知同样存在着交互行为。生物视觉感知中一个富有争议而尚无定论的重要问题是:生物对外部世界的感知过程中,全局性结构的感知先于局部性结构的感知还是反之。认为全局先于局部的研究者们以大量的纹理感知实验为例,例如当我们观察图5(a)时,首先感觉到的是在大面积的纹理背景上有一块“补丁”,而不是局部纹理本身,视觉处理中由粗到细的多分辨率分析也反映了这一观点;而认为局部感知优先于全局感知的视觉研究者认为,视觉感知从局部区域的特征提取开始,对它们的分析合成最终获得全局特征图,Marr视觉计算理论的2.5维要素图的构造框架反映了这一观点。Treisman的特征整合理论也体现了这一思想。全局性和局部性实质反映了尺度的大小,由于上述两种观点都有成功的仿生实验。正如Gestalt学派认为的那样,整体制约着部分的性质和意义,部分因整体的影响而变得准确。因此我们有理由认为,全局性和局部性感知是互动的,小尺度和大尺度感知是并行的、相互作用的。另一方面,生物视觉具有小范围竞争、大范围协作的特点,例如观察图5(b)时,局部竞争将使∩和∪区分开,而大范围协作将使“T”形从背景中提取出来。生理学的研究发现,在猫和猴的视觉皮层中,简单细胞的感受野具有一个中央正瓣,两边是两个较小的负瓣,而再往两边是两个更小的正瓣,图5(c)是用三个不同尺度但具有相同形状的2D高斯滤波器的叠加而成的竞争协作滤波器的响应曲面。这种竞争协作机制结构体现了不同尺度之间的相互作用。也恰好说明了小范围竟争与大范围协作。Grossberg的知觉组织理论认为小范围竞争和大范围协作是神经计算的重要原理。小范围竞争包括两种情形:相邻位置、相同定向神经细胞之间的竞争,以及同一位置、不同定向神经细胞之间的竞争,信号在经过小范围竞争处理的同时,要输人到一个空间大范围的协作过程中,通过协作产生全局性感知,例如形成物体的完整边界、形状等。 3.分布式认知(distribute cognition) 分布式认知的概念源于现场认知(situated cognition)和信息加工理论(information-processing theory),它的核心思想是:人脑认知系统的加工和表征一直延续到外部世界中的加工和表征,这是与环境交互的过程。Malsburg曾从理论角度推测分布在脑内不同部位的神经元之间的联系可能建立在同步振荡的方式上。感觉通道(特别是视觉通道)中对同一物体的不同特征敏感的神经元,可能通过低频的同步振荡把它们整合(绑定)起来,形成一个完整的物体概念。同样,在信息处理中,我们经常面临的问题是:已知具有不同属性的特征信息,这些信息怎样被组合或整合去生成一个统一场景的感知经验?各个信息传感系统提供的目标特征具有各自结构的独立性,如何从分布式表示的特征集中提取关于目标知识,并形成高层语义来正确解释目标正是一个有效的智能信息处理系统应具备的能力。研究这种绑定机制还要解决的另一问题是:如果给出了一个目标的描述,是否可能有另一个目标也符合这些描述?对于上述问题,特别是要解决敏感于内容的多模式(图像、声音等)特征的表示与绑定问题,我们无法利用传统的模式识别理论中的距离测度来解决。必须提出有别于传统分析方法的模式识别理论。 (l)特征绑定与信息融合 在视觉感知理解中,组合通常在空间上或时间上发生。因此,有两种可能方法把信息组合在一起:一种方法是各个信道的信息在视觉系统的某个位置上被组合在一起;另一种方法是考虑信息在时间上的绑定。实际上,在信息处理中,“绑定”有两层意思,一方面信息怎样被“绑定”,另一方面是信息处理的方法如何“绑定”。基于生物计量学(ibometircs)的身份认证系统的研究就是一种有益的尝试。在这种系统中,人脸、声音、虹膜、指纹等数据通过不同的传感器进行记录,经处理后进行融合来实现身份的建立和认证。 (2)信息编码方法 人类及其他生物适应环境生存与发展依赖于生命的遗传信息编码、存储和传输。寻求基于生物特征的信息编码、存储和传输理论与方法,探寻基于非线性机制和生物特征的信息编码、复制和解码规则,信息压缩和增扩的非线性本质,具有十分重大的理论价值和工程应用前景,甚至有可能对信息科学带来革命性的贡献。神经放电节律、基因表达顺序和演化、经络映射表现了生物信息的编码的完美过程,完整地包含了生物活动高度复杂的信息与非线性。揭示这种信息编码机制和编码结果与生物活动特征间的对应关系,是长远而重大的科学任务。其中结合非线性科学最新成就,揭示基于生物特征的信息编码的非线性机制和信息编码结果与生物非线性行为之间的联系是重要的一步,它将更能如实、有效地进行智能化信息处理。 4.学习和记忆的神经生理机制与信息处理模型 所谓学习就是对经验作出反应而改变行为的能力,而记忆则是把学习所得的信息加以存储的能力。两者之间既有区别,又有关联。无论是从巴甫洛夫的两种信号系统学说,还是从对学习、记忆的解剖结构、通路的实验研究来看,脑中确实存在几个重要的部位与学习和记忆有着密切的关系。这些研究成果对具有学习功能的人工神经网络特别有启示。 从环境中学习,并通过学习来改善性能是人工神经网络的主要性质。简单地说,学习是神经网络的自由参数由于网络所处的环境(网络的输人)的刺激而被调整的过程。参数改变的方式来确定学习的形式。因此,“学习算法”就是一个事先定义好的用于学习问题解的规则集。对于学习和记忆的人工神经网络设计不存在唯一的学习算法。收敛速度和全局收敛能力是衡量各种学习算法的两个主要数学指标。大多学习算法的研究都是围绕这两点进行的。 (1)学习 无监督学习理论和算法:自组织网络学习的Bayesian方法,无监督学习的变分原理,主动学习和侧抑制竞争机制,矢量量化的地形结构,自编码机等。 随机学习理论:模拟退火算法,确定性退火算法,Boltzmann机,Belief机,Helmholtz机,均值场理论。 学习的信息论模型:独立主元分析,独立因子分析,自然梯度学习理论和信息几何等。 统计学习理论:支撑向量机,核学习,稀疏逼近,正则化网络等。 (2)联想记忆 在人的神经系统中,信息的传递与处理表现出很强的非线性特征。人的记忆与联想活动就是如此。人的记忆过程可大致分为三个阶段:编码(encdoing)、储存(storage)和恢复(retrieval),这也正是机器进行联想记忆的主要步骤。借鉴生物信息的群体编码机制,研究新型的模式编码方法并将编码结果储存于具有生物学特性的非线性系统(神经网络)之中,通过对非线性系统的控制实现自动联想,有可能开创新的模式识别理论。 (3)混沌神经网络与认知过程中的联想记忆机器模型 混沌可以体现人的一类感知现象或认知过程,同时感知的混沌态充分反映了认知过程的生物特征。因此,结合混沌理论构造新的联想记忆模型,模仿人的感知所依赖的生物学结构,有可能实现具有生物特征的模式信息处理。目前,已有不少学者讨论具有复杂动力学性质的认知模型。其中有些是研究非线性网络中出现的分岔、混沌等现象;有些是利用混沌的伪随机性;有些将混沌系统作为黑箱使用。然而这些都没有利用混沌的丰富结构,不涉及它在信息处理中深刻的物理意义,缺少与人类的感知和认知过程不确定性的联系。利用混沌吸引子存储模式或信息融合实现机器的自动联想记忆是个崭新的学术思想,但其如何实现仍面临着理论与实践上的困难,如可计算性和计算复杂度。 5.认知神经科学与计算神经科学 神经系统内的电信号和化学信号是怎样被用来处理信息的,仍然是一直困扰人们的重大问题。用计算方法对神经系统信息处理规律进行探索,即计算神经科学的方法,对阐明脑的工作原理具有十分深远的意义。 (l)意识与意念解读 意识是脑的一种基本状态,它作为人脑执行高级、复杂功能的基础,是我们进行精神活动或产生行为的前提。随着PET、fMRI、EG和MEG等先进的非创伤或非进入人体仪器的发明,使得意识问题成为认知神经科学的前沿方向,由此为新的信息处理技术的提出奠定基础和启迪。如根据意念(intention),机器能判断出人的需求进而产生控制行为。 (2)计算神经科学的核心是对神经系统状态作计算解释。神经系统的状态代表了外部和内在世界的事件及状态,计算神经科学是把脑的这种状态映射到求解一个计算问题的抽象算法携带信息的状态。 脑认知神经科学和计算神经科学的研究成果将为具有生物特征的视觉和听觉信息处理方法奠定理论和实践的基础。 6.智能信息处理与软计算方法 随着基于图灵机和Von Neumann体系概念的数字计算机出现,以符号运算推理的人工智能信息处理有了一定发展,包括智能仪器、自动跟踪监测仪器系统、自动控制与制导系统、自动诊断系统等。在传统人工智能系统中,它们具有模仿或代替与人的思维有关的功能,通过逻辑符号处理系统的推理规则来实现自动诊断、问题求解以及专家系统的智能机器人。这体现了人类的逻辑思维方式,主要用串行工作程序按照一些规则一步一步进行计算和操作。串行计算机能处理数字和符号,它们至少在原理上被认为是可以广泛应用的。然而,实际上它们是有一些局限性的,尤其当用这类计算机完成某些特定任务时,局限性就更加明显。例如,在视觉方面,如果进行实时处理,就需要处理数量相当巨大的二进数码,即便我们使用现在最快的计算机也显得太慢。这严重制约了信息处理系统的智能性和实时性,其发展速度已不太适应社会信息量迅速增大的需求。然而很明显,生物学已征服了这个问题。尽管神经元的运行速度是慢的,处理指令的时间约在毫秒级,我们却能在不到一秒钟的时间内识别出模式。这是因为人脑是一个复杂的巨系统,其信息处理的方式既不完全是并行的,也不完全是串行的,而是各种方式相互交织,使其具有极高的智能信息处理能力。因而促使人们从认知的角度来关注新型智能信息处理系统的出现。 提高系统的智能度主要有两种途径:一是在基于古典精确逻辑的基础上,通过增加并行度来加快系统的演化速度,从而提高系统的智能;二是开发新的高智能的逻辑形式。前者,主要是考虑计算速度,这同样有两种途径:一方面在原有算法基础上开发相应的并行算法;另一方面是设计出更高效且具有高并行度的新型算法。后者,主要是从系统本身出发来提高它的智能度,其主要手段是通过对人或高等动物以及自然界的研究,从中得到一些启示,并应用于新系统的设计中。因而人脑和大自然给了我们很好的启示去解决信息处理的智能性和实时性问题。综合智能信息处理将以神经网络并行分布处理和基于专家系统的人工智能符号逻辑推理为两种重要的基本方式,并与模糊逻辑、进化计算、混沌动力学、信号处理与变换等方法综合集成,如软计算:神经网络、模糊逻辑和概率推理等;不确定性推理与自组织;仿生计算:进化算法、模拟退火等。 研究智能模拟、人一机结合的信息处理,将传统的认知观点即“物理符号系统假设”转向以“与环境进行交互”为基本点的现场认知,深人研究知觉与选择性注意机制的表述,研究学习和记忆过程的信息处理及整合。这些新的学术观点将对信息科学与技术产生重大影响。目前将认知科学与智能信息处理和新型人工智能系统研究的结合在国际上尚属起步阶段,正向“蓬勃发展”阶段迈进。要使我国的信息科学与技术在21世纪取得突破性的进展,我们应当重视认知科学与信息学科的交叉学科研究,抓住当前息科学所面临新的机遇和挑战,为未来信息科学的发展做出我们的贡献。 来源：德先生 |
|
|
