深层神经网络过拟合优化

神经网络 TOMORROW 2年前 (2017-12-04) 2198次浏览 1个评论 扫描二维码

本文来自TOMORROW 星辰博客。

原文链接:https://www.tomorrow.wiki/2017/12/04/深层神经网络过拟合优化/

 

 

·过拟合(Overfitting)

深层神经网络模型的训练过程,就是寻找一个模型能够很好的拟合现有的数据(训练集),同时能够很好的预测未来的数据。

在训练过程中由于模型建立的不恰当,往往所训练得到的模型能够对训练集的数据非常好的拟合,但是却在预测未来的数据上表现得非常差,这种情况就叫做过拟合(Overfitting)。

为了训练出高效可用的深层神经网络模型,在训练时必须要避免过拟合的现象。过拟合现象的优化方法通常有三种,分别是:正则化(Regulation)扩增训练集(Data augmentation)以及提前停止迭代(Early stopping)

 

 

·正则化(Regulation)

正则化方法是指在进行损失函数(cost function)优化时,在损失函数后面加上一个正则项。

正则化方法中目前常用的有两种方法:L2 正则化和 Dropout 正则化。

 

L2 正则

L2 正则是基于 L2 范数,即在函数后面加上参数的 L2 范数的平方,即: 

深层神经网络过拟合优化

其中深层神经网络过拟合优化是原损失函数,m 表示数据集的大小。使用下式对参数进行更新:

深层神经网络过拟合优化

其中深层神经网络过拟合优化,因此知道 w 在进行权重衰减。在神经网络中,当一个神经元的权重越小时,那么该神经元在神经网络中起到的作用就越小,当权重为 0 时,那么该神经元就可以被神经网络剔除。而过拟合现象出现的原因之一就是,模型复杂度过高。那么,也就是说 L2 正则化后,权重会衰减,从而降低了模型的复杂度,从而一定程度上避免对数据过拟合。

 

随机失活(Dropout)正则

其实 Dropout 的思路与 L2 的思路是一致的,都是降低模型的复杂度,从而避免过拟合。只是实现的方法有所不同。

Dropout 的做法是,在训练过程中,按照一定的概率随机的忽略掉一些神经元,使其失活,从而就降低了模型的复杂度,提高了泛化的能力,一定程度上避免了过拟合。

深层神经网络过拟合优化        深层神经网络过拟合优化

常用的实现方法是 Inverted Dropout。

 

使用 Dropout 的小技巧

  • ·1、通常丢弃率控制在 20%~50%比较好,可以从 20%开始尝试。如果比例太低则起不到效果,比例太高则会导致模型的欠学习。

    ·2、在大的网络模型上应用。当 dropout 用在较大的网络模型时更有可能得到效果的提升,模型有更多的机会学习到多种独立的表征。

  • ·3、在输入层(可见层)和隐藏层都使用 dropout。在每层都应用 dropout 被证明会取得好的效果。

    ·4、增加学习率和冲量。把学习率扩大 10~100 倍,冲量值调高到 0.9~0.99.

  • ·5、限制网络模型的权重。大的学习率往往导致大的权重值。对网络的权重值做最大范数正则化等方法被证明会提升效果。

  

  

·扩增训练集(Data augmentation)

“有时候不是因为算法好赢了,而是因为拥有更多的数据才赢了。”

特别在深度学习中,更多的训练数据,意味着可以训练更深的网络,训练出更好的模型。

然而很多时候,收集更多的数据并不那么容易,要付出很大的代价。那么,为了得到更多的训练数据,我们可以在原有的数据上做一些改动产生新的可用数据,以图片数据为例,将图片水平翻转,放大或者选择一个小角度都可以得到新的图片数据用于训练。

深层神经网络过拟合优化

虽然这样的效果没有全新的数据更加好,但是付出的代价却是接近于零的。所以,很多情况下,这是一个非常好的数据扩增方法。

 

 

·提前停止迭代(Early stopping) 

在训练过程中绘制训练集误差函数的同时也绘制交叉验证集的误差。从下面的图可以看出,训练集误差随着迭代次数增加而不断降低,而验证集误差却是先降低后上升。很明显,在这个模型中,我们希望验证集误差和训练集误差都尽量的小,那么最优点就是在验证集误差的最低点,训练应该在该点处停止,也就是选取该点处的权重值作为神经网络的参数。

深层神经网络过拟合优化

但是这种优化方法有很大的缺点。因为提前停止训练,也就是停止优化训练集的误差,通常情况下,在验证集误差达到最小值时,训练集误差还未处于一个足够小的值。从而使得该模型虽然没有出现过拟合现象,却是出现了欠拟合的情况。当然,这种优化方法还是有着表现优异的使用场景的。

 

 

 

  

参考:https://blog.csdn.net/u010159842/article/details/54138157

 

本文来自TOMORROW 星辰博客。

原文链接:https://www.tomorrow.wiki/2017/12/04/深层神经网络过拟合优化/

  


TOMORROW 星辰 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:深层神经网络过拟合优化
喜欢 (0)
TOMORROW
关于作者:
一个从石头坑掉到泥坑里的攻城狮。
健忘的西牛发表我的评论  请填写正确的 个人信息
取消评论
表情 加粗 斜体 签到
(1)个小伙伴在吐槽
  1. 哇塞,居然是沙发?留个名
    2pf2019-05-05 21:05 回复 Windows 7 | 未知浏览器