|
Aureli Soria-Frisch 研究工程师和项目经理（神经科学）。 就职于西班牙巴塞罗那Starlab。 为什么深度学习要比其他的机器学习表现的要好？ 我在这里提供三点原因：训练过程中对特征工程的集成，鼓励使用超大规模数据集，以及网络相关的科技飞速发展。
深度学习相较于其他机器学习方法论的卓越表现已经被各大论坛和杂志评论过多次了。今天，我想根据我的理解，来阐述3个深度学习表现卓越的根本原因。我并不是第一个这样评论的，当然也不会是最后一个。然而，我想把关于深度学习成功表现的讨论延伸到实际的应用中去。因此，如果你想找到关于深度学习的理论基础，你可以去看看“Hamiltonian of the spin glass model [2]”，以及“利用组合函数来拯救维度的诅咒[3]”，他们非常好的描述了深度学习如何很好地表现物理方程，以及如何提供数据流形的平坦化。所有这些都是在介绍理论，但是我想在这里评论的是实际应用当中的价值，例如，如何将深度学习转化为有用的科技来帮助我们解决实际的分类问题以及相关的应用。当然，深度学习并不可能解决所有的问题。深度学习可以算是现阶段终极的模式识别'黑科技’。在这之前的包括支持向量机和随机森林。不过，基于'天下没有免费的午餐’定理[6]，永远没有适用于所有问题的优化算法。所以，我们要经常把分类问题的效能问题放在脑子里[7]。将效能评估融入机器学习的每个基础阶段，深度学习的成功恰恰在于此。 第一点，深度学习成功的原因是：在模型训练的同时，对特征抽取的集成。 不久之前，模式识别重点还关注在分类阶段。因此，特征抽取被视为一个相对独立的问题。过去很大程度上是凭借手工选择或者专家的经验。一个团队领导者经常会邀请一个相关领域的专家，来组成团队。例如，如果想要对EEG数据进行分类，那么就要依赖于一个有经验的电生理学家，或者，如果想进行笔迹识别，那么就需要一个笔相学家。这些专家的知识被用来进行一个特定问题的特征选择。深度学习则不同，深度学习并不需要对任何特征有先验知识。并且，深度学习可以将特征抽取和分类放在一起完成。例如，图像过滤器或者基元分类器的训练会在图像识别分类网络的第一层同时进行。这个概念已经在很早以前就被脑机交互领域提出来了，例如，脑机交互中常规空间滤波器就会在特征抽取的同时来进行分类训练以适应不同的用户。
第二点，深度学习在过去未解决的问题上的成功表现，源于它鼓励在开发过程中收集大数据集以及对效能评估的系统性集成。
大数据集就像一个硬币的两面，一旦你拥有了它，就不能手工的进行效能评估。你需要尽可能实现评估自动化。自动化过程暗示着交叉验证过程的实现，以及在开发过程中对它的集成。大数据集的采集和效能评估对数据分析竞赛平台的普及上，起到了很好地支持作用。最早的竞赛来源于一些重要的计算机视觉和模式识别会议。比如，PASCAL [8] 和ImageNet[9] 两个竞赛。这些竞赛，首次依赖大规模的图像数据集，更重要的是，他们将算法的效能评估与相关的实证结果系统的融合在了一起。更进一步，这些效能评估只依赖盲测试集中的实际结果。它说明，调整参数来提供效能并非是不可能的。同样的概念也被应用到数据分析竞赛平台上。其中最著名的是Kaggle竞赛【10】，但是并不仅仅是Kaggle，你也可以在DrivenData【11】，InnoCentive【12】上找到类似的竞赛。这些数据竞赛平台利用了相同的概念。他们提供一个数据集作为训练集，同时提供另一个测试用的盲数据集，加上一个可以对比各个完成比赛队伍表现的平台。这是一个绝佳的数据科学游乐场，特别是对深度学习而言。 最后一点我想分享给大家的，和前两点息息相关。上面两点的技术革新，都离不开科技的发展。 存储价格的持续下降为存储更大规模的数据集提供了可能。人人熟知的摩尔定律描绘了计算能力的惊人发展速度。最后，网络技术的爆炸性发展，让存储和计算能力变得更亲民。云存储和高性能计算在整体架构上的复杂性以指数性增长，这使得深度学习的层数和节点数的大规模增长。到目前为止，深度学习可以算得上在融合科技发展上最为成功。当然，也只是到目前为止… [1] http://www./2016/08/yann-lecun-3-thoughts-deep-learning.html [3] http:///pdf/1611.00740v2.pdf [5] http://ieeexplore./document/7348689/ [6] http://en./wiki/No_free_lunch_in_search_and_optimization [7] http://blog./how-good-is-my-computational-intelligence-algorithm-for-eeg-analysis/ [8] http://host.robots./pascal/VOC/ [9] http://www./challenges/LSVRC/ [10] http://www./ [11] http://www./ [12] http://www./ |
|
|
来自： 雪柳花明 > 《机器学习,深度学习 面试技巧》
