发文章
发文工具
撰写
网文摘手
文档
视频
思维导图
随笔
相册
原创同步助手
其他工具
图片转文字
文件清理
AI助手
留言交流
Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1,因此它对每个神经元的输出进行了归一化;
用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1,因此 Sigmoid 函数非常合适;
梯度平滑,避免「跳跃」的输出值;
函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率;
明确的预测,即非常接近 1 或 0。
倾向于梯度消失;
函数输出不是以 0 为中心的,这会降低权重更新的效率;
Sigmoid 函数执行指数运算,计算机运行得较慢。
首先,当输入较大或较小时,输出几乎是平滑的并且梯度较小,这不利于权重更新。二者的区别在于输出间隔,tanh 的输出间隔为 1,并且整个函数以 0 为中心,比 sigmoid 函数更好;
在 tanh 图中,负输入将被强映射为负,而零输入被映射为接近零。
当输入为正时,不存在梯度饱和问题。
计算速度快得多。ReLU 函数中只存在线性关系,因此它的计算速度比 sigmoid 和 tanh 更快。
Dead ReLU 问题。当输入为负时,ReLU 完全失效,在正向传播过程中,这不是问题。有些区域很敏感,有些则不敏感。但是在反向传播过程中,如果输入负数,则梯度将完全为零,sigmoid 函数和 tanh 函数也具有相同的问题;
我们发现 ReLU 函数的输出为 0 或正数,这意味着 ReLU 函数不是以 0 为中心的函数。
Leaky ReLU 通过把 x 的非常小的线性分量给予负输入(0.01x)来调整负值的零梯度(zero gradients)问题;
leak 有助于扩大 ReLU 函数的范围,通常 a 的值为 0.01 左右;
Leaky ReLU 的函数范围是(负无穷到正无穷)。
没有 Dead ReLU 问题,输出的平均值接近 0,以 0 为中心;
ELU 通过减少偏置偏移的影响,使正常梯度更接近于单位自然梯度,从而使均值向零加速学习;
ELU 在较小的输入下会饱和至负值,从而减少前向传播的变异和信息。
如果 a_i= 0,则 f 变为 ReLU
如果 a_i> 0,则 f 变为 leaky ReLU
如果 a_i 是可学习的参数,则 f 变为 PReLU
在负值域,PReLU 的斜率较小,这也可以避免 Dead ReLU 问题。
与 ELU 相比,PReLU 在负值域是线性运算。尽管斜率很小,但不会趋于 0。
在零点不可微;
负输入的梯度为零,这意味着对于该区域的激活,权重不会在反向传播期间更新,因此会产生永不激活的死亡神经元。
「无界性」有助于防止慢速训练期间,梯度逐渐接近 0 并导致饱和;(同时,有界性也是有优势的,因为有界激活函数可以具有很强的正则化,并且较大的负输入问题也能解决);
导数恒 > 0;
平滑度在优化和泛化中起了重要作用。
文末福利
来自: 520jefferson > 《机器学习/深度学习/tensorflow》
0条评论
发表
请遵守用户 评论公约
深度学习中的激活函数与梯度消失
深度学习中的激活函数与梯度消失 [一点资讯]前言。Sigmoid函数是深度学习领域开始时使用频率最高的激活函数。ReLU函数(Rectified Linear...
激活函数初学者指南
激活函数初学者指南。恒等函数(Identity)或线性激活(Linear activation)函数是最简单的激活函数。sigmoid函数,也称逻辑激活函数(L...
深度学习基础——激活函数以及什么时候使用它们?(附代码)
Binary Step(二元阶跃)Linear(线性)Sigmoid(S型)Tanh(双曲正切)ReLU(线性整流单元)Leaky ReLU(泄露型线性整流函数)Paramete...
神经网络中常见的激活函数
import numpy as npdef tanh(x): s1 = np.exp(x) - np.exp(-x) s2 = np.exp(x) + np.exp(-x) s = s1 / s2 return sgelu = lambda x:0.5 ...
斯坦福大学深度学习公开课cs231n学习笔记(5)神经网络结构与激活函数
斯坦福大学深度学习公开课cs231n学习笔记(5)神经网络结构与激活函数。(4)Leaky ReLU函数:上图2左面是ReLU函数曲线,右边是ReLU函数...
深度学习中的主要激活函数有哪些?
本文从激活函数的背景知识开始介绍,重点讲解了不同类型的非线性激活函数:Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish,并详细介绍了这...
激活函数小结
激活函数小结什么是激活函数。激活函数的发展经历了Sigmoid -> Tanh -> ReLU -> Leaky ReLU -> Maxout这样的过程,还有一个...
几种常见的激活函数
Leaky ReLU. Leaky ReLUs 就是用来解决ReLU坏死的问题的。- 我们讨论了几种实际使用的激活函数,其中ReLU是最常用的选择 - 我们介绍了神...
深入了解神经网络
深入了解神经网络深入了解神经网络。· Leaky ReLU3.1.2 非线性激活函数。非线性激活函数是获取输入,并对其应用数学变换从而生成...
微信扫码,在手机上查看选中内容