如何理解施密特正交化？

对于一个向量空间，比如二维空间 （图中用方形来表示该空间）：

可以用不同的基来表示（网格用来表示不同的基）：

这些基对于数学来讲都是等价的，但是在实际应用中，我们更喜欢正交基（比如机器学习里面，第一步往往都是正交化，这样可以简化计算）：

施密特正交化就是把非正交基变为正交基的。

1 施密特正交化的思路

1.1 两个向量

在二维平面中，有两个线性无关不垂直的向量，很显然这是一组基，但不是正交基：

如下操作可以得到正交基，也就是将两个向量正交化（为了方便观看，下图把网格去掉了）：

1.2 三个向量

中的三根线性无关向量就要麻烦一些了：

先按照之前介绍的两个向量的方法，将其中任意两个向量正交化：

然后向这两个正交向量张成的空间做垂线，从而得到三个正交基，完成正交化：

1.3 四个向量

四个线性无关的向量，必定在四维及更高的维度，这里没有办法画出来。

但是容易举一反三正交化的过程：

从而完成正交化。

2 施密特正交化

施密特正交化就是把线性无关的向量：

通过正交化，得到正交基（本文用来表示正交基）：

也就是：

下面我们来看看具体过程。

2.1 两个向量

有两个线性无关的向量：

正交化的目标：

图示如下：

首先，任选一个作为，比如选：

根据之前的思路，垂线就是：

要求出只需要知道的投影：

根据向量计算法则，可以知道：

投影向量可以如下计算（根据点积的意义容易得到）：

所以：

至此，完成任务：

得到了正交基：

2.2 三个向量

有三个线性无关的向量：

图示如下：

任选两个向量，按照之前的做法进行正交：

根据之前的思路，关于张成的平面的垂线就是：

要求出只需要知道的投影：

根据向量计算法则，可以知道：

这个投影向量从几何上由在上的投影向量和在上的投影向量线性组合而成：

即：

所以：

至此，完成任务：

2.3 个向量

举一反三：