|
谷歌Dropout专利，6月25日生效，有效期15年。 Dropout是一种进行深度学习、训练神经网络时，普遍会用到的方法，是AI领域的必备方法，由Hinton于2012年提出，可以有效防止过拟合。 一 、Dropout原理 我们先来介绍Dropout原理 Dropout即随机失活正则化，如上图所示。 a图中为标准的结构，b图中应用了dropout，可以看到，在应用过后会有一部分神经元失活了，没有与其他的神经相连，因此可以有效的减少过拟合现象，注意这里的失活为随机失活，即下次，这个失活的神经元可能又会被重新的开启。 如下图所示对dropout防止过拟合的理解： 优点： 1.因为有了卷积层，达到了共享的卷积核，对高维的数据处理无压力 2.不需要手动的选择特征，训练完成后，即可得到特征，这一点也是流行的原因 3.深层次的网络对于图像来说，表达效果好，因为图像的信息过于丰富 缺点： 1.需要调参，需要大量的样本，计算量大 2.其物理的含义不明确，即你不能很好的说明为什么要这么做，这也是不同于一些理论性很强的算法如SVM的原因。 ------------------------------------------------------------------------ 以上Droput原理简介来源：CSDN ，作者：michaelhan3 原文：https://blog.csdn.net/michaelhan3/article/details/69803032 二、谷歌Dropout 谷歌Dropout专利名字是：解决神经网络过拟合的系统与方法。 这是一个用来训练神经网络的系统。特征检测器 (Feature Detectors) 上面，都连着一个开关，至少网络的某些层是这样。 在每一个training case里，开关都会随机关闭一些特征检测器，是根据一个预先配置的概率来决定的。 然后，每个训练案例的权重，会被归一化 (Normalized) ，以将神经网络应用在测试集上。 Dropout为什么能防过拟合，Hinton在CNN成名作ImageNet Classification with Deep Convolutional里面，是这样说的： 每次关掉一半的特征检测器，每次训练的都是不一样的网络。然后取各种网络的平均，用来预测。这样可以提升模型的稳定性，或是泛化能力，防止过拟合。 专利列举了20条，细数了各种想到、想不到的训练步骤，成为一本优秀的使用手册。 三、Dropout专利对AI行业的影响 三年前，因为谷歌给Dropout申请了专利，就已经引发过一次业界哗然。当时，reddit上有个热帖，言辞激烈的把谷歌、还有当时未获图灵奖的Hinton等人统统给“问候”了一个遍。（看来欧美人与中国网民没什么不同&_^） 现在，所有人，所有要用到Dropout的人、公司、机构，都可能要面临一个被掐脖子的尴尬境地，特别是那些做云端AI平台的公司。 一度引起广泛讨论的“徐匡迪之问”，也再次被拿出来讨论。 今年5月，上海院士沙龙活动中，中国工程院院士徐匡迪等多位院士尖锐一问：中国有多少数学家投入到人工智能的基础算法研究中？ 尴尬现状是，中国AI的应用虽然当前如火如荼，但自主知识产权的底层框架和核心算法非常缺乏，更多还是依靠开源代码和算法。 接受科技日报采访的浙江大学应用数学研究所所长孔德兴教授就呼吁：如果缺少核心算法，当碰到关键性问题时，还是会被人“卡脖子”。 孔教授说，开源代码是可以拿过来使用，但专业性、针对性不够，效果往往不能满足具体任务的实际要求。孔教授认为，是否掌握核心代码将决定未来的AI“智力大比拼”中是否拥有胜算。 而今年一而再的例子已经证明，核心算法靠灯塔，即便口碑如谷歌，可能也会有断供的一天。 所以Dropout成谷歌专利，不只关于开源，不只停留在科研，还关乎更致命的自主核心算法和背后的“卡脖子”困境。
|
|
|
来自： 新用户8447VjsA > 《待分类》
