先决条件:建议具备一些机器学习算法的知识和对人工神经网络的基本了解。 什么是神经网络的激活函数?激活函数有助于决定我们是否需要激活神经元。如果我们需要激发一个神经元,那么信号的强度是多少。 激活函数是神经元通过神经网络处理和传递信息的机制。 为什么我们需要神经网络中的激活函数?在神经网络中,z 是输入节点和节点权重加上偏差的乘积。 z 的方程看起来与线性方程非常相似,并且可以具有范围从 +infinity 到 -infinity 的值 如果神经元值的范围可以从 -infinity 到 + infinity,那么我们将无法决定是否需要触发神经元。 这就是激活帮助我们解决问题的地方。 如果 z 本质上是线性的,那么我们将无法解决复杂的问题。这是我们使用激活函数的另一个原因。 激活函数的种类有不同类型的激活函数,其中一些非常常见和流行的是:
为什么我们需要这么多不同的激活函数,我如何决定使用哪一个? 阈值或阶跃函数(Threshold or Binary Step function)这是最简单的函数,可以认为是 是或否函数。 如果 z 的值高于阈值,则激活设置为 1 或是,神经元将被激发。 Sigmoid 激活函数Sigmoid 函数是一个平滑的非线性函数,没有扭结,看起来像 S 形。 它可以预测输出的概率,因此用于神经网络的输出层和逻辑回归。 由于概率在 0 到 1 之间,所以 sigmoid 函数值存在于 0 到 1 之间。 但是,如果我们想要分类的不仅仅是是或否怎么办?如果我想预测多个类,比如预测晴天、雨天或多云的天气怎么办? Softmax 激活有助于多类分类 Softmax 激活函数Sigmoid 激活函数用于两类或二元类分类,而 Softmax 用于多类分类,是 Sigmoid 函数的推广。 在 Softmax 中,我们得到每个类的概率总和应该等于1。当一个类的概率增加时,其他类的概率会减小,因此概率最高的类是输出类。 示例:在预测天气时,我们可能会得到晴天的输出概率为 0.68,阴天的输出概率为 0.22,雨天的输出概率为 0.20。在这种情况下,我们将具有最大概率的输出作为最终输出。在这种情况下,我们将预测天气晴朗。 Softmax 计算每个目标类的概率超过所有可能的目标类的概率。 双曲正切激活函数(Hyperbolic Tangent or Tanh Activation Function)对于双曲 tanh 函数,输出以 0 为中心,输出范围在 -1 和 +1 之间。 看起来与 sigmoid 非常相似。 实际上双曲 tanh 是缩放的 sigmoid 函数。与 sigmoid 相比,tanh 的梯度下降更强,因此优于 sigmoid。 tanh 的优点是负输入将被映射为强负,零输入将映射到接近零,这在 sigmoid 中不会发生,因为 sigmoid 的范围在 0 和 1 之间 整流线性单元-ReLU (Rectifier Linear Unit-ReLU)
Leaky ReLULeaky ReLU. Value of a is usually 0.01 在leaky ReLU 中,我们引入了一个小的负斜率,因此它没有零斜率。这有助于加快训练。 这将很好地理解不同的激活函数。 |
|