风九天88 / 线代 / 如何理解最小二乘法?

分享

   

如何理解最小二乘法?

2018-07-06  风九天88


最小平方法是十九世纪统计学的主题曲。 

从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。

----乔治·斯蒂格勒《The History of Statistics》

1 日用而不知

来看一个生活中的例子。比如说,有五把尺子:

用它们来分别测量一线段的长度,得到的数值分别为(颜色指不同的尺子):



之所以出现不同的值可能因为:

  • 不同厂家的尺子的生产精度不同

  • 尺子材质不同,热胀冷缩不一样

  • 测量的时候心情起伏不定

  • ......


总之就是有误差,这种情况下,一般取平均值来作为线段的长度:



日常中就是这么使用的。可是作为很事'er的数学爱好者,自然要想下:

  • 这样做有道理吗?

  • 用调和平均数行不行?

  • 用中位数行不行?

  • 用几何平均数行不行?


2 最小二乘法

换一种思路来思考刚才的问题。


首先,把测试得到的值画在笛卡尔坐标系中,分别记作 

 :



其次,把要猜测的线段长度的真实值用平行于横轴的直线来表示(因为是猜测的,所以用虚线来画),记作

 :



每个点都向

 做垂线,垂线的长度就是  ,也可以理解为测量值和真实值之间的误差:





因为误差是长度,还要取绝对值,计算起来麻烦,就干脆用平方来代表误差:



误差的平方和就是( 

 代表误差):



因为

 是猜测的,所以可以不断变换:




自然,误差的平方和

 在不断变化的。



法国数学家,阿德里安-马里·勒让德(1752-1833,这个头像有点抽象)提出让总的误差的平方最小的

 就是真值,这是基于,如果误差是随机的,应该围绕真值上下波动(关于这点可以看下这篇文章)。


勒让德的想法变成代数式就是:



这个猜想也蛮符合直觉的,来算一下。


这是一个二次函数,对其求导,导数为0的时候取得最小值:



进而:



正好是算术平均数。


原来算术平均数可以让误差最小啊,这下看来选用它显得讲道理了。

以下这种方法:



就是最小二乘法,所谓“二乘”就是平方的意思,台湾直接翻译为最小平方法。


3 推广

算术平均数只是最小二乘法的特例,适用范围比较狭窄。而最小二乘法用途就广泛。


比如温度与冰淇淋的销量:



看上去像是某种线性关系:





可以假设这种线性关系为:



通过最小二乘法的思想:




上图的

 分别为:



总误差的平方为:



不同的

 会导致不同的  ,根据多元微积分的知识,当:



这个时候

 取最小值。


对于

 而言,上述方程组为线性方程组,用之前的数据解出来:



也就是这根直线:



其实,还可以假设:



在这个假设下,可以根据最小二乘法,算出

 ,得到下面这根红色的二次曲线:




同一组数据,选择不同的 

 ,通过最小二乘法可以得到不一样的拟合曲线(出处):


不同的数据,更可以选择不同的

 ,通过最小二乘法可以得到不一样的拟合曲线:



 也不能选择任意的函数,还是有一些讲究的,这里就不介绍了。


4 最小二乘法与正态分布

我们对勒让德的猜测,即最小二乘法,仍然抱有怀疑,万一这个猜测是错误的怎么办?



数学王子高斯(1777-1855)也像我们一样心存怀疑。


高斯换了一个思考框架,通过概率统计那一套来思考。


让我们回到最初测量线段长度的问题。高斯想,通过测量得到了这些值:



每次的测量值

 都和线段长度的真值  之间存在一个误差:



这些误差最终会形成一个概率分布,只是现在不知道误差的概率分布是什么。假设概率密度函数为:



再假设一个联合概率,这样方便把所有的测量数据利用起来:



 作为变量的时候,上面就是似然函数了(关于似然函数以及马上要讲到的最大似然估计,可以参考这篇文章)。


 的图像可能是这样的(随便画的):



根据最大似然估计的思想,联合概率最大的最应该出现(既然都出现了,而我又不是“天选之子”,那么自然不会是发生了小概率事件),也就是应该取到下面这点:



当下面这个式子成立时,取得最大值:



然后高斯想,最小二乘法给出的答案是:



如果最小二乘法是对的,那么

 时应该取得最大值,即:



好,现在可以来解这个微分方程了。最终得到:



这是什么?这就是正态分布啊。


并且这还是一个充要条件:



也就是说,如果误差的分布是正态分布,那么最小二乘法得到的就是最有可能的值。


那么误差的分布是正态分布吗?


如果误差是由于随机的、无数的、独立的、多个因素造成的,比如之前提到的:

  • 不同厂家的尺子的生产精度不同

  • 尺子材质不同,热胀冷缩不一样

  • 测量的时候心情起伏不定

  • ......


那么根据中心极限定理(参考这篇文章),误差的分布就应该是正态分布。


虽然勒让德提出了最小二乘法(高斯说他最早提出最小二乘法,只是没有发表),但是高斯的努力,才真正奠定了最小二乘法的重要地位。


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多
    喜欢该文的人也喜欢 更多

    ×
    ×

    ¥.00

    微信或支付宝扫码支付:

    开通即同意《个图VIP服务协议》

    全部>>