过拟合的原因往往是: 1训练数据不足,训练数据无法对整个数据的分布进行估计的时候 2训练过度 ,导致模型过拟合 1:数据集扩增 几种方法,采集更多的数据 复制原有的数据,加速噪声 重采样 生成已有模型的分布,产生更多数据。(比如假设数据服从高斯分布,那么就根据现有数据估计高斯分布的参数,然后产生更多的数据) 2:early-stopping 对模型进行训练的过程往往是一个对模型更新的过程,这个过程往往是一个迭代的过程。在这个迭代的过程中,如果当迭迭代一次次数,validation accuracy 不在变化时,那就就及时的停止模型的训练。 3:正则化 使用L1,L2,Elastic net 等正则化方法。 4:DropOut 神经网络中的方法 |
|