在神经网络中，激活函数sigmoid和tanh有什么不同呢？

这个问题比较适合用图片回答。

这是sigmoid

这是tanh

这两个图像（图中的黑线）是不是长得很像？

当然了，毕竟sigmoid线性变换一下就得到了tanh：

如果要说不同的话，tanh比sigmoid更陡峭（上图中的红线为两者的导数）。所以，理论上，用作激活函数时，如果你希望梯度更“激烈”一点，那就选tanh，反之，如果希望梯度更“平缓”一点，那就选sigmoid。不过，实践中，其实这两个都不怎么用，现在是ReLU的时代了。

另外，sigmoid的值域是0到1，而tanh的值域是-1到1，所以，在这个ReLU系占主流的年代，sigmoid仍然“坚守”着分类层。

（函数及其导数图像来源：towardsdatascience.com/hyper-parameters-in-action-a524bf5bf1c）