神经网络与激活函数神经网络从数学上来说,就是用来拟合一个函数。把数据扔进去,得到一个预测结果,以此来解决分类和回归等问题。但是针对不同的问题,需要拟合不同的函数,包括线性函数和非线性函数。神经网络中常常会见到各种激活函数,当需要拟合非线性函数时就需要激活函数登场了。 对于每个神经元来说,都是先进行线性变换,再将线性变换的结果通过激活函数来进行激活。注意,这里的有效激活函数必须是非线性函数。如果采用线性激活函数,则在前向传播的过程中,相当于一直做线性变换,这样的话,无论多少隐藏层,都是线性变换,也就是隐藏层在这里没有发生作用,仍然是一个单层的感知机。当然对于最后一层的输出层则没有这个要求,可以选择线性或者非线性的激活函数。 常用激活函数总结这里主要介绍非线性激活函数,线性的激活函数也就是恒等函数,在坐标轴表示为一条直线,通常使用较少。常见的非线性激活函数通常可以分为两类,一种是输入单个变量输出单个变量,如sigmoid函数,Relu函数;还有一种是输入多个变量输出多个变量,如Softmax函数,Maxout函数。 1.Sigmoid函数Sigmoid函数,也叫做S函数将值限定在 \((0,1)\) 之间,能够很好的作为概率来解释算法得到的结果。目前在计算机视觉中不常用,只适用于二分类等问题。 缺点是当输入较大的正数或者负数时,导数就会变为0,这时候采用梯度下降方法就会下降很慢,使得神经网络不能正常更新。同时不是以0为对称,容易在更新时产生 zigzag 路径。 函数定义为 2.tanh函数thah函数能够将值限定在 \((-1,1)\) 之间,比sigmoid函数更为常用。但是也存在与sigmoid函数一样的缺点,当在z值较大或者较小时,斜率接近0,这时优化速度很慢,这种情况下可以考虑采用ReLU函数。 函数定义为 求导结果为 3. ReLU函数及其变体ReLU函数,也叫做线性整流函数,能够解决在值较大时产生的梯度为0的问题,能够正常的更新,并且没有复杂的指数计算,使得性能较好,收敛较快,是目前在视觉领域最为常见的激活函数。 ReLU函数为 其导数为 LeakyReLU是为了防止ReLU函数在负数时,斜率为0的情况,但在实际情况中,很难到负数那边去,所以基本采用ReLU就足够了,不过也建议采用交叉验证来试试这个函数。 Leaky ReLU为 此外,还有几种激活函数由算法来学习负数区域的学习率,如PReLU函数和ELU函数,原理与ReLU函数类似。 4.Softmax函数softmax函数与sigmoid函数很相似,也是将值变换到 \((0,1)\) 之间。但是可以针对多个类别,预测出每个类别的归一化概率,所以通常softmax函数是在分类器的输出层使用。 其函数表达式为 如何选择激活函数选择激活函数没有固定的规则,每个激活函数适用于不同的应用,比如分类和回归,多分类和二分类任务。但根据每个激活函数的性质,也存在一些基本的规律
|
|