|
一般来说，两个变量之间的关系是十分微妙的，仅仅采用简单的直线、曲线参数方程去描述是不够的，所以这时候就需要非参数回归。关于非参数和参数方法的区别，就是在分析之前有没有对预测做一些限制，比如认为特征和响应变量之间具有线性关系，可以通过线性方程拟合，我们只需要求出方程的系数就是参数方法，比如之前提到的线性回归、多项式回归等等，而如果直接从数据出发进行分析就是非参数方法。正正因为没有限制，所以非参数方法拟合得到的曲线可以更好地描述变量之间的关系，不管是多么复杂的曲线关系都能拟合得到。 loess（locally weighted regression）是一种用于局部回归分析的非参数方法，它主要是把样本划分成一个个小区间，对区间中的样本进行多项式拟合，不断重复这个过程得到在不同区间的加权回归曲线，最后再把这些回归曲线的中心连在一起合成完整的回归曲线，具体过程如下： · 决定拟合点的数量和位置 · 以拟合点为中心，确定k个最接近的点 · 通过权重函数计算这k个点的权重 · 通过加权线性回归进行多项式拟合（一次或者二次） · 对所有拟合点重复以上步骤 关于权重的确定，这里需要说明一下，首先它需要确定区间内的点到拟合的点的距离，这个距离指x轴的距离，我们还要找到区间内最大的距离，然后对其他距离做归一化处理 这个权重是离拟合点的距离越近就越小，所以我们就需要做一个转化，比如用tricube weight function： W(u)=(1−u3)3W(u) = (1 - u^3)^3 W(u)=(1−u 3 ) 3 指数可以选择二次（B函数）或三次（W函数），三次方对周围权值的降速更快，平滑效果更好，切适用于大多数分布，但增加了残差的方差，一般来说，第一次迭代会更多实用W函数，第二次迭代会选择B函数。 关于对区间内的散点进行加权线性回归进行拟合，之所以我们这里采取加权线性回归而不是普通的线性回归，是因为考虑到对拟合点，它附近的点的取值对拟合线的影响应该更大，远一点的点的影响更小，所以我们要定义损失函数的时候，应该优先降低附近的点与拟合直线的误差，这也就是我们对普通的最小二乘法要加上权重的原因，实际上这就是加权最小二乘法： J(a,b)=1N∑Ni=1wi(yi−axi−b)2J(a,b) = \frac{1}{N} \sum_{i=1}^N w_i(y_i -ax_i -b)^2 J(a,b)= N 1 i=1 ∑ N w i (y i −ax i −b) 2 可以看到，损失函数加上权重之后，我们在最小化损失函数时，就会更多地考虑权重大的点，希望他们更优，这样拟合出来的结果，自然就更加偏向权重大的点了，也就是说，距离拟合点更近距离的散点，对拟合直线的影响更大。 以上就是loess的基本思路。 ———————————————— 版权声明：本文为CSDN博主「JessssseYule」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/jesseyule/article/details/95245350 |
|
|
