还对矩阵头疼吗？教你理解矩阵本质

微积分、线性代数、概率论是数学三大支柱，微积分和概率论侧重于思想层面，线性代数侧重于应用层面。线性代数是重要的工具，很多人线性代数学不好，见了矩阵就头疼，主要是没有理解矩阵是什么东西。

1、矩阵每一列可以看做一个坐标轴。

比如我们在excel输入一个表格

可以表示为一个3*3矩阵

这个3*3矩阵，每一行代表一个样本，有3个样本；每一列代表一个属性，有年龄、身高、体重3个属性，可看成3个坐标轴。

---

2、矩阵的作用是线性变换，通过改变坐标系来实现。由于矩阵每一列可以看成一个坐标轴，矩阵左乘向量，相当于将每个坐标轴进行拉升，然后再合成新的向量。

2*3矩阵左乘一个3维向量

一个2*3矩阵左乘一个3维向量，相当于对这个3维向量进行线性变换。具体过程是，矩阵每列作为一个坐标轴，显然每个轴都在2维平面内，将这3个坐标轴分别拉伸X、Y、Z倍之后，合成一个2维向量，即把一个3维向量变成2维向量，这就是所谓的降维。道理在哪儿呢？

3个2维坐标轴（其实有一个是多余的），无论怎么拉伸组合，也还是在2维平面，换句话说，3维向量代表3个属性，变换成2维向量，有一个属性丢掉了。由于降维只关注主要因素，忽略了次要因素，所以会有所损失，这在主成分分析（PCA）中有所体现。

---

3*2矩阵左乘一个2维向量

一个3*2矩阵左乘一个2维向量，相当于将2个3维坐标轴进行拉伸，然后组合成一个新的3维向量。把一个2维向量变换成3维向量，这就是升维。2个3维坐标轴组合成一个向量，必然也是3维的。升维能够发现更深更细的因素，所以在低维线性不可分的时候，可以用核函数映射到高维进行分类。

---

问题在哪？

那么为什么一个3*2矩阵左乘一个3维向量会有问题？3维向量表明有3个属性，但是3*2矩阵只有2个坐标轴，差一个坐标轴，所以不匹配。同理，一个2*3矩阵左乘一个2维向量也会有问题。我有3个坐标轴，但是你只有2个属性，也是不匹配。

---

3、矩阵分解其实就是用特征向量和特征值来模拟线性变换空间。

2*3矩阵

这个2*3矩阵，有3个2维坐标轴在同一个平面，无论怎么拉伸组合，最后的结果也是一个2维向量，其实这3个坐标轴变换效果可以用2个特征向量来达到，具体就是找到这2个特征向量和特征值，然后进行组合。

---

3*2矩阵

这个3*2矩阵，有2个3维坐标轴，无论怎么拉伸组合，最后也只是一个平面，所以同样可以用2个特征向量和特征值来模拟。