2017-08-01 作者:焦李成,杨淑媛
导读
作为联接主义智能实现的典范,神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程,是人工智能发展中的重要方法,也是当前类脑智能研究中的有效工具。目前,模拟人脑复杂的层次化认知特点的深度学习已经成为类脑智能中的一个热点研究方向,无论是在学术界还是工业界都引起了极大的研究兴趣和投入,并且颠覆和革新了许多传统的技术和理念。通过增加网络的层数和节点数、采用全新的网络结构、设计高效的学习优化策略,所构造的“深层神经网络”能够使机器获得从海量数据中学习“抽象概念”和“复杂规律”的能力,在诸多领域都取得了巨大的成功,又一次掀起了神经网络研究的一个新高潮。
尽管深度学习已经取得了许多瞩目的成就,但是其仍然存在一些尚未解决的问题。目前在网络的结构设计、参数设置和学习优化等方面缺少理论指导,很多时候往往需要凭借人为经验和主观判断来设计出适用于特定问题的模型。根据领域知识,设计出适用于特定问题的网络模型和算法是当前发展的必然趋势。虽然深度学习能对问题实现端到端的建模,但随之而来的是复杂和繁琐的训练过程,训练过程中的技巧性和策略性很强,对最终网络的性能起着至关重要的作用。在有限标记数据情况下,借助于外部的海量数据来实现知识的迁移是解决小样本问题的有效途径。同时,关于深度学习潜在的“过拟合”问题,目前尚无系统性的研究和结论,模型的泛化能力值得进一步关注。从网络的约简和正则化等角度开展研究是今后深度学习一个很重要的研究方向,诸如稀疏性和选择性的引入将会使网络更加智能化。
|
|