漫话深度学习及其应用（3）
胡经国
（续前）
七、需要使用深度学习解决的问题的特征
需要使用深度学习（Deep Learning）解决的问题具有以下特征：
深度不足会出现问题；
人脑具有一个深度结构；
认知过程逐层进行、逐步抽象。
⑴、深度不足会出现问题
在许多情形中，“深度2”就足够表示任何一个“带有给定目标精度的函数”。但是，其代价是：（流程）图中所需要的节点数（比如，计算和参数数量）可能变得非常大。理论结果证实，那些事实上所需要的“节点数”，随着输入的大小呈指数增长的函数族是存在的。
我们可以将“深度架构”看做一种“因子分解”。大部分“随机选择的函数”不能被有效地表示，无论是用“深的或者浅的架构”。但是，许多能够有效地被“深度架构”表示的，却不能被用“浅的架构”高效表示。一个紧的和深度的表示的存在，意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构，那么将不可能很好地“泛化”。
⑵、大脑有一个深度架构
例如，“视觉皮质”得到了很好的研究；并且显示出一系列的区域，在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流（这里忽略了在一些层次并行路径上的关联，因此更复杂）。这个“特征层次的每一层”表示在一个不同的抽象层上的输入，并且在该层次的更上层具有更多的“抽象特征”，它们根据“低层特征”定义。
需要注意的是，“大脑中的表示”是在中间紧密分布并且纯局部的：它们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍然有一个非常高效的（指数级高效）表示。
⑶、认知过程逐层进行逐步抽象
人类层次化地组织思想和概念；
人类首先学习简单的概念，然后用它们去表示更抽象的概念；
工程师将任务分解成多个抽象层次去处理；
学习/发现这些概念（知识工程由于没有反省而失败？）是很美好的。对语言可表达的概念的反省，也建议我们一个稀疏的表示：仅仅所有可能的单词/概念中的一个小的部分，是可被应用到一个特别的输入（一个视觉场景）的。
八、深度学习若干应用
1、计算机视觉
中国香港中文大学的多媒体实验室是最早应用深度学习进行“计算机视觉”研究的华人团队。
在世界级人工智能竞赛LFW（大规模人脸识别竞赛）上，该实验室曾经力压FaceBook夺得冠军，使得人工智能在该领域的识别能力首次超越真人。
2、语音识别
微软研究人员通过与hinton合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得了巨大成功，使得语音识别的错误率相对降低30%。但是，DNN还没有有效的并行快速算法；很多研究机构都是利用大规模数据语料，通过GPU平台提高DNN声学模型的训练效率的。
在国际上，IBM、Google等公司都快速进行了DNN语音识别的研究，并且速度飞快。
在中国国内方面，阿里巴巴、科大讯飞、百度、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。
链接：DNN
DNN（Dot Net Nuke）是一个开源门户、内容管理系统（Content Management System，CMS）、网站后台管理系统；是基于Microsoft的NET技术。DNN为广大商业门户网站的开发提供了一个健壮的、可扩展的、功能完备的框架。DNN是微软支持的一套非常优秀的开源门户网站程序。
DNN是一个世界领先的开源门户和内容管理框架，被世界范围内数千个组织使用。通常门户为组织内的多个应用程序提供一个统一的Web前台。例如，展现来自人力资源、财务、营销及客户服务的信息。连接起来的后台系统也为企业提供了信息组合及协同处理的机会。
3、自然语言处理
很多机构在这一方面开展研究。2013年，Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean发表论文《Efficient Estimation of Word Representations in Vector Space》（《向量空间中词表示的有效估计》），建立Word 2 Vector（词 2 向量）模型。该模型与传统的“词袋（Bag of Words）模型”相比，Word 2 Vector模型能够更好地表达语法信息。深度学习在自然语言处理等领域主要应用于“机器翻译”以及“语义挖掘”等方面。
4、加速半导体封（装检）测创新
2020年，深度学习可以加速半导体（芯片）封（装检）测创新。在降低重复性人工、提高良好率、管控精度和效率、降低检测成本方面，AI深度学习驱动的AOI具有广阔的市场前景；但是驾驭起来并不简单。
链接：AOI
AOI（Automated Optical Inspection，自动光学检测）设备，现已成为电子制造业确保产品质量的重要检测工具和过程质量控制工具。因此，如何从众多的AOI设备品牌中选择和使用适合自已要求的AOI设备，已成为广大电子制造工作者十分关心的问题。
5、优化诊断工作流
2020年4月13日，英国《自然·机器智能》杂志发表的一项医学与人工智能（AI）研究中，瑞士科学家介绍了一种人工智能系统，可以在几秒之内扫描心血管血流。这个深度学习模型有望让临床医师在患者接受核磁共振扫描的同时，实时观察血流变化，从而优化诊断工作流。
（未完待续）
（未完待续）
4
|
|
