|
基于对线性代数的理解，对深度神经网络功能之一的能够对原始数据进行特征提取的含义有了点深度理解，从神经网络前向传播的计算过程可以看出，每个隐藏节点的值其实是通过使用上层节点的输入左乘权重矩阵(W·X)得来的，权重矩阵就是所谓的"特征空间"(权重矩阵可以看做是由权重值w组成的向量空间)，得到的新隐藏层的值(隐藏层L的全部的值组成"特征向量")就是"特征空间"中的向量，这个向量的各个分量就是提取到的特征(也就是各个隐藏层节点的数值，这个数值表示的特征具体的含义是在权重矩阵组成的向量空间的基上的投影值)，也可以看出越深的隐藏层提取的特征越细(可以理解为深层网络提取的特征的输入是在浅层网络的值的基础上提取的，而浅层网络的值是从更浅层网络的值提取的，而第一层网络的值是从输入数据提取的。<注意，一般而言网络层是不算输入层的，也可以把输入层看做是第0层>)，W·X从线性代数的角度来分析其实是在做基空间变化，得到的隐藏层向量是权重矩阵表示的特征空间中的特征信息。而通过梯度下降进行训练后，可以将各层权重矩阵的基进行修正，使得提取到的特征对于结果的预测误差最小化。 |
|
|
