神经网络与支持向量机的故事

神经网络（Neural Network）与支持向量机（Support Vector Machines，SVM）是统计学习的代表方法。

 

可以认为神经网络与支持向量机都源自于感知机（Perceptron）。感知机是由Rosenblatt发明的线性分类模型（1958年）。感知机对线性分类有效，但现实中的分类问题通常是非线性的。

 

神经网络与支持向量机（包含核方法）都是非线性分类模型。1986年，Rummelhart与McClelland发明了神经网络的学习算法Back Propagation。后来，Vapnik等人于1992年提出了支持向量机。神经网络是多层（通常是三层）的非线性模型，支持向量机利用核技巧把非线性问题转换成线性问题。

 

神经网络与支持向量机一直处于“竞争”关系。

 

Scholkopf是Vapnik的大弟子，支持向量机与核方法研究的领军人物。据Scholkopf说，Vapnik当初发明支持向量机就是想’干掉’神经网络（He wanted to kill Neural Network)。支持向量机确实很有效，一段时间支持向量机一派占了上风。

 

近年来，神经网络一派的大师Hinton又提出了神经网络的Deep Learning算法（2006年），使神经网络的能力大大提高，可与支持向量机一比。Deep Learning假设神经网络是多层的，首先用Restricted Boltzmann Machine（非监督学习）学习网络的结构，然后再通过Back Propagation（监督学习）学习网络的权值。关于Deep Learning的命名，Hinton曾开玩笑地说: I want to call SVM shallow learning. (注：shallow 有肤浅的意思)。其实Deep Learning本身的意思是深层学习，因为它假设神经网络有多层。

 

Deep Learning是值得关注的统计学习新算法。