这篇文章用通俗易懂的语言，从几何的角度解释了最小二乘法的解为什么是，只要高中生的知识水平就可以了，彻底颠覆代几老师那种枯燥的上课方式！请
在安静的时候花上10多分钟看看，你的线性代数水平会上一个档次的，这是真的。为了从几何的角度解释最小二乘法，我们先回顾一下，线性方程
组的几何意义。线性方程组可以从行和列两个角度看。我们先看行的角度，从这种角度看线性方程组是高中老师教我们的。请看以下方程组，它表示
平面上的两条直线。(1)线性方程组的解就是这两条直线的交点，。图1没什么大不了的，这谁都知道。但是怎么从列的角度看待线性方
程组呢？我相信大部分人对从列的角度看线性方程组是感到陌生的。先把方程(1)写成矩阵的形式，得到(2)式。(2)从列的方向看矩阵
，可以看到三个列向量，这样看还不是很明显，干脆把(2)式再拆开，得到(3)式。(3)怎么拆的？矩阵乘法好像不是这个样子的！放心吧
，矩阵乘法就是这个样子的，只是这种写法我们在代几课上不常见，但矩阵乘法的意义就是这个样子的。表示向量的倍加上向量的倍等于向量。和我
们在看行图像的时候已经求出来了，。于是我们把向量，向量和向量画到图2上。图2很神奇对不对，向量的1倍加上向量的2倍刚好等于向量
，而倍数1和2,就是我们要求的和。那么从列的角度看线性方程组的解，就是为系数矩阵里的每一列都寻找一个合适的倍数，使每一列乘上这个倍
数后再相加刚好等于向量，这个倍数就是解。官方语言就是找到里的列向量的一个线性组合。只要学会了从列的角度看待一个线性方程组，接下来就
无敌了。讲完了列的角度，终于要进入最小二乘法了！我们从一个最简单的例子开始，已知平面上有3个点(1,2),(0,2),(2,3)，
图3我们想用一条直线去拟合它。像高中时一样，设这条直线的方程为。我们希望这条直线可以同时通过这三个点，也就是这条直线的参数要满足
：从图3直观的看，没有一条直线可以同时过这三个点，所以这个方程是无解的。怎么解一个无解的方程组呢？下面好戏开始了。为了表述方便，
我们换一下符号，用表示，用表示。即：(4)写成矩阵的形式：从列的角度看：一但化成列的形式，我们就很自然想到把向量画到图上。
图4要找到解，就要找到的一个线性组合，使得组合后的向量刚好等于。可惜的是任何的线性组合，只可能出现在所在的平面上（这个平面就是传
说中的向量空间），但是向量不在平面上，如图5。不可能找到解，怎么办呢？图5找不到完美的解，就只能找到一个最接近的解。所以我们想在
平面上找一个最接近向量的向量来代替向量，记这个替代品向量为。就是过向量的终点做平面的垂线（也就是做投影），垂足就是代替向量的终点
。与之间的误差。图6原来的方程为是无解的，我们用代替后，在所在的平面上，所以现在方程就一定是有解的啦。接下来到了最关键的时候了
，怎么解出？我们知道，与之间的误差为:(5)要想使与之间的差距最小，那么一定是垂直于平面的，也就是要垂直于和。想一想在高中时是怎
么表示两个向量垂直的？只要他们的点乘等于0就行了。也就是，用矩阵表示出来就是。即：(6)把(5)带入(6)中，结果出来了，
，化简一下就是，这不是马老师上课的时候讲的那个超定方程的解法的式子吗？这么简单就推出来了！所以最佳的近似解就是。这里你是否担心不可
逆？不会的，只要的每一列是线性无关的，那么就是一个可逆的对称的方阵。这样，按公式解出的图7解出了最近似的解为(1/2,11/6)
。从列的角度，我们就可以用和的线性组合来表示，如图7所示。那么最优的直线的斜率和截距就是我们解出的k=1/2，b=11/6=1.
8333。如图8。图8图8既不是行的角度，也不是列的角度，它只是问题的来源，那如果从行的角度看方程(4)，是什么样子的，方程
的每一行都是一条直线，三条直线不相交于一点，我们的解是图9中的圆点，是中间三角形的重心？质心？不知道呀看起来有点像。图9这里只
是举了一个简单的不能再简单的例子来说明做小二乘法的原理。它简单到可以画出列向量的图，对于更高维的向量，列向量的图就画不出来了，但它任然存在于一个高维的空间里。公式任然适用。 |
|
