|
flyfish Sigmoid函数是一种具有S形曲线的数学函数。
Sigmoid函数是一种激活函数，并且更具体地定义为挤压函数（squashing function）。压缩函数将输出限制在0到1之间，从而使这些函数在概率预测中非常有用。
挤压函数（squashing function）
挤压函数是将大范围输入挤压到较小区间的函数，通常被用于做 激活函数 ，主要有 Sigmoid 函数 和 Tanh 双曲正切函数两种。
其中 Sigmoid 函数是一种常见的挤压函数，可将较大范围的输入挤压到[0,1]内。
Tanh 双曲正切函数是 Sigmoid 函数的变体，其取值范围在 [-1,1]，定义域为 R，其同为挤压函数的一种。 通常和Softmax函数做比较
1、Softmax用于Logistic回归模型中的多分类。Sigmoid用于Logistic回归模型中的二进制分类。
2、Softmax概率和是1，Sigmoid概率和不需要是1。
3、Softmax用于不同层次的神经网络。Sigmoid在构建神经网络时用作激活函数。
4、Softmax 大值比其他值具有更大的概率。Sigmoid数值大则概率大，但概率不会比另一个数值的概率更大。
S
(
x
)
=
1
1
+
e
−
x
=
e
x
e
x
+
1
.
{\displaystyle S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.}
S(x)=1+e−x1=ex+1ex. 图像
解释e e
=
∑
n
=
0
∞
1
n
!
=
1
1
+
1
1
+
1
1
⋅
2
+
1
1
⋅
2
⋅
3
+
⋯
{\displaystyle e=\displaystyle \sum \limits _{n=0}^{\infty }{\dfrac {1}{n!}}={\frac {1}{1}}+{\frac {1}{1}}+{\frac {1}{1\cdot 2}}+{\frac {1}{1\cdot 2\cdot 3}}+\cdots }
e=n=0∑∞n!1=11+11+1⋅21+1⋅2⋅31+⋯ e
=
∑
n
=
0
∞
1
n
!
e=\sum _{n=0}^{\infty }{\frac {1}{n!}}
e=∑n=0∞n!1 e
=
lim
n
→
∞
(
1
+
1
n
)
n
e=\lim _{n\to \infty }\left(1+{\frac {1}{n}}\right)^{n}
e=limn→∞(1+n1)n
|
