|
原文链接: http://www.cnblogs.com/tornadomeet/p/3258122.html Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。
关于Dropout，文章中没有给出任何数学解释，Hintion的直观解释和理由如下： 1. 由于每次用输入网络的样本进行权值更新时，隐含节点都是以一定概率随机出现，因此不能保证每2个隐含节点每次都同时出现，这样权值的更新不再依赖于有固定关系隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。 2. 可以将dropout看作是模型平均的一种。对于每次输入到网络中的样本（可能是一个样本，也可能是一个batch的样本），其对应的网络结构都是不同的，但所有的这些不同的网络结构又同时share隐含节点的权值。这样不同的样本就对应不同的模型，是bagging的一种极端情况。个人感觉这个解释稍微靠谱些，和bagging，boosting理论有点像，但又不完全相同。（关于bagging 和 boosting 后边会简单学习并介绍，之前了解但是不理解） 3. native bayes是dropout的一个特例。Native bayes有个错误的前提，即假设各个特征之间相互独立，这样在训练样本比较少的情况下，单独对每个特征进行学习，测试时将所有的特征都相乘，且在实际应用时效果还不错。而Droput每次不是训练一个特征，而是一部分隐含层特征。 4. 还有一个比较有意思的解释是，Dropout类似于性别在生物进化中的角色，物种为了使适应不断变化的环境，性别的出现有效的阻止了过拟合，即避免环境改变时物种可能面临的灭亡。 更直观个人理解就是： droput 取50%的时候，每次训练都随机的discard 50%的隐含层的节点来进行训练，这样可以防止每次都是所有的特征选择器共同作用，一直放大或者缩小某些特征，在样本数据少的情况下很容易过拟合，并且泛化能力也很弱，所以才用dropout这种方法来实现能很好的避免训练过程中出现的这些问题。注意，在测试过程中采用的是全连接。 具体怎么实现这里先不说了，因为keras都封装好了，当然后期需要自己优化的时候再来补充，先把原型搞出来。 |
|
|
