分享

防止过拟合的几种方法

 公彦栋 2017-09-18

过拟合的原因往往是:
1训练数据不足,训练数据无法对整个数据的分布进行估计的时候
2训练过度 ,导致模型过拟合
1:数据集扩增
几种方法,采集更多的数据
复制原有的数据,加速噪声
重采样
生成已有模型的分布,产生更多数据。(比如假设数据服从高斯分布,那么就根据现有数据估计高斯分布的参数,然后产生更多的数据)
2:early-stopping
对模型进行训练的过程往往是一个对模型更新的过程,这个过程往往是一个迭代的过程。在这个迭代的过程中,如果当迭迭代一次次数,validation accuracy 不在变化时,那就就及时的停止模型的训练。
3:正则化
使用L1,L2,Elastic net 等正则化方法。
4:DropOut
神经网络中的方法

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多