神经元大自然的计算机器

https://m.toutiao.com/is/S2QjKsy/ 

虽然一些计算机拥有大量的电子计算元件、巨大的存储空间，并且这些计算机的运行频率比肉蓬蓬、软绵绵的生物大脑要快得多，但是即使是像鸽子一样小的大脑，其能力也远远大于这些电子计算机，这使得科学家们对动物的大脑迷惑不解。

传统的计算机按照严格的串行顺序，相当准确具体地处理数据。对于这些冰冷坚硬的计算机而言，不存在模糊性或不确定性。而另一方面，动物的大脑表面上看起来以慢得多的节奏运行，却似乎以并行方式处理信号，模糊性是其计算的一种特征。

让我们来观察生物大脑中的基本单元——神经元。

虽然神经元有各种形式，但是所有的神经元都是将电信号从一端传输到另一端，沿着轴突，将电信号从树突传到树突。然后，这些信号从一个神经元传递到另一个神经元。这就是身体感知光、声、触压、热等信号的机制。

之前我们说过，计算机程序的一个基本模式:

接受了一个输入，进行一些处理，然后弹出一个输出。

我们可以与以前一样，将神经元表示为线性函数吗？虽然这是个好主意，但是不可以这样做。生物神经元与简单的线性函数不一样，不能简单地对输入做出的响应，生成输出。也就是说，它的输出不能采用这种形式：输出 =常数 * 输入

观察表明，神经元不会立即反应，而是会抑制输入，直到输入增强，强大到可以触发输出。你可以这样认为，在产生输出之前，输入必须到达一个阈值。就像水在杯中——直到水装满了杯子，才可能溢出。直观上，这同样是有道理的——神经元不希望传递微小的噪声信号，而只是传递有意识的明显信号。下图说明了这种思想，只有输入超过了阈值（threshold），
足够接通电路，才会产生输出信号。

在数学上，我们使用激活函数来模型化这种阈值。

有许多激活函数可以达到这样的效果。一个简单的阶跃函数可以实现这种效果。

你可以看到，在输入值较小的情况下，输出为零。然而，一旦输入达到阈值，输出就一跃而起。具有这种行为的人工神经元就像一个真正的生物神经元。

我们可以改进阶跃函数。下图所示的S形函数称为S函数（sigmoid function）。这个函数，比起冷冰冰、硬邦邦的阶跃函数要相对平滑，这使得这个函数更自然、更接近现实。自然界很少有冰冷尖锐的边缘！

我们将继续使用这种平滑的S形函数制作神经网络。虽然人工智能研究人员还使用其他外形类似的函数，但是S函数简单，并且事实上非常常见，因此S函数对我们非常重要。

使用数学函数表达：

让我们回到神经元，并思考我们如何建模人工神经。

生物神经元可以接受许多输入，而不仅仅是一个输入。对于所有这些输入，我们只需对它们进行相加，得到最终总和，作为S函数的输入，然后输出结果。这实际上反映了神经元的工作机制。下图说明了这种组合输入，然后对最终输入总和使用阈值的思路。

如果组合信号不够强大，那么S阈值函数的效果是抑制输出信号。如果总和x 足够大，S函数的效果就是激发神经元。有趣的是，如果只有其中一个输入足够大，其他输入都很小，那么这也足够激发神经元。更重要的是，如果其中一些输入，单个而言一般大，但不是非常大，这样由于信号的组合足够大，超过阈值，那么神经元也能激发。这给读者带来了一种直观的感觉，即这些神经元也可以进行一些相对复杂、在某种意义上有点模糊的计算。

这种直观的感觉相当重要！因为数学往往也需要这种直观的感觉。

树突收集了这些电信号，将其组合形成更强的电信号。如果信号足够强，超过阈值，神经元就会发射信号，沿着轴突，到达终端，将信号传递给下一个神经元的树突。

将这种自然形式复制到人造模型的一种方法是，构建多层神经元，每一层中的神经元都与在其前后层的神经元互相连接。下图详细描述了这种思想。

你可以看到三层神经元，每一层有三个人工神经元或节点。你还可以看到每个节点都与前一层或后续层的其他每一个节点互相连接。

我们可以调整节点之间的连接强度。如下图，在每个连接上显示了相关的权重。较小的权重将弱化信号，而较大的权重将放大信号。

通过后续的学习，我们会发现：神经网络通过调整优化网络内部的链接权重改进输出，一些权重可能会变为零或接近于零。零或几乎为零的权重意味着这些链接对网络的贡献为零，因为没有传递信号。