入门神经网络

准备工作

读懂这篇文章，需要你有以下方面的知识

• 如何求导数
• 基本的矩阵乘法

如果有下列知识就更好了

• 懂一点机器学习的知识，比如线性回归
• 知道什么是 感知机（perceptron）

有任何没看懂的部分，欢迎留言，信不信我半小时内秒回。

一个巨简单的神经网络（A Deadly Simple NN）

如果你对神经网络（neural network）感兴趣或者关注过相关的文章，那下图中的这个模型想必你不会感觉很陌生。

一个人工神经网络模型

不过这个可能对于初学者有点不太友好？那看看下面这个简化版的

一个无隐层的神经网络

图里的这些东西，咱们一个一个的捋一遍。每个蓝色的圆代表一个神经元（neuron）。每个方块代表一个运算，比如 + 代表求和。上图中最左边的三个神经元组成了输入层（input layer），包含一个 h 的神经元组成了输出层（output layer），并且这一层只有这一个神经元。

输出层神经元的输入值

对于生物学意义上的神经元来说，通常存在一个阈值（threshold）来使其达到兴奋的状态，也就是被激活。在我们所讨论的神经网络中，我们的神经元将会通过输入值和激活函数（activation function）计算一个输出值。激活函数最值得称赞的一点就是它可以是任何类型的函数，包括但不限于跃阶函数，多项式函数或者 sigmoid 函数。h 是输出神经元的输入值，结合激活函数，输出神经元会输出 f(h) 计算的结果 y，也就是整个神经网络的输出值。

如果你选择 f(h) = h 作为你的激活函数，那么你的神经网络输出结果将会是下图中的这个公式，这里 y = f(h)。

神经网络的输出

如果你觉得这看起来是一个线性回归的模型，那就对了。如果你的激活函数是连续且可导的，那么（通常情况下）你就可以使用一个叫做 梯度下降（gradient descent） 的方法来训练你的网络。不过这理解起来要稍微麻烦一点，在我们深入到训练的步骤之前，我们先来编写一个很简单的程序来了解神经网络作出预测的过程。我们将使用 sigmoid 函数作为激活函数， Python 作为编程语言。预测的这个过程是一种前馈（feedforward）的计算，仅仅有这一部分的神经网络是不能学习的（例如，通过反向传播（backpropagation）），但我们稍后再关注训练学习的部分。

Sigmoid 函数

import numpy as npdef sigmoid(x): # sigmoid function return 1/(1 + np.exp(-x))inputs = np.array([0.7, -0.3])weights = np.array([0.1, 0.8])bias = -0.1# calculate the outputoutput = sigmoid(np.dot(weights, inputs) + bias)print('Output:')print(output)

第一个单隐层神经网络（Your First 2-Layer NN）

注：单隐层，即为包括一个隐层，一个输出层的神经网络，输入层和输出层因为是必须的，所以不计数。

现在你已经基本知道了一个神经网络是怎么计算预测结果的。在现实生活中，我们面临的预测问题往往十分复杂，这样简单的网络结构可能远远不够。这里我们要引入一个新的概念，隐层（hidden layer）。

一个拥有三个输入层神经元，两个隐层神经元和一个输出层神经元的神经网络

在第一部分那个简单的网络模型中，我们的权重（weight）是一个向量。但是对于多数神经网络来说，其实权重将会是一个如下图一样的矩阵。

三个输入层神经元和两个隐层神经元的权重矩阵

结合第一部分的理解和上面单隐层神经网的模型，你也许已经知道怎么通过这个模型计算 h1 的具体数值了。我们给出一个简单的公式定义

计算隐层神经元输入值的公式

对于我们所关注的这个单隐层模型来说，它是下面这样的

计算隐层输入值的矩阵乘法

注意！！：上图中的权重下角标已经更改为矩阵的表达方式，并不是和单隐层神经网络图中的下角标所对应的。因为在矩阵的表达方法中，是用行／列的顺序来标注的。所以如果用示意图中的方法标注的话，会造成一些误会。

用先前神经网络模型图中的下角标所标注的矩阵

记住，上图中的这个计算过程使用的并非是矩阵使用的角标，但这个和我们上面单隐层神经网络的示意图中的标注是一致的。

结合上面所学的知识，我们可以快速构建一个单隐层神经网络的前馈（即预测）过程了。我们仍然使用 sigmoid 函数作为我们的激活函数（并且在之后很长时间都会用这个函数）。

待办事项：

• 计算隐层的输入值
• 计算隐层的输出值
• 计算输出层的输出值
• 计算输出层的输出值

import numpy as npdef sigmoid(x): # sigmoid function return 1/(1+np.exp(-x))# 神经网络各层神经元数量N_input = 3N_hidden = 2N_output = 1np.random.seed(42)# Make some fake dataX = np.random.randn(4)# 生成输入层到隐层／隐层到输出层权重weights_in_hidden = np.random.normal(0, scale=0.1, size=(N_input, N_hidden))weights_hidden_out = np.random.normal(0, scale=0.1, size=(N_hidden, N_output))# 计算隐层的输入值／输出值hidden_layer_in = np.dot(X, weights_in_hidden)hidden_layer_out = sigmoid(hidden_layer_in)print('Hidden-layer Output:')print(hidden_layer_out)# 计算输出层的输入值／输出值output_layer_in = np.dot(hidden_layer_out, weights_hidden_out)output_layer_out = sigmoid(output_layer_in)print('Output-layer Output:')print(output_layer_out)

参考资料

• All formulas are generated by HostMath
• Some figures are taken from the Udacity deep learning course
• 【模式识别】多层感知器 MLP
• CS224d:
  TensorFlow Tutorial
• CS231n Winter 2016 Lecture 4 Backpropagation, Neural Networks