本文将为你介绍实现特征缩放和特征归一化的方法。1. 特征缩放在随机梯度下降(stochastic gradient descent)算法中,特征缩放有时能提高算法的收敛速度。 1.1 什么是特征缩放特征缩放是用来标准化数据特征的范围。 1.2 机器算法为什么要特征缩放特征缩放还可以使机器学习算法工作的更好。比如在K近邻算法中,分类器主要是计算两点之间的欧几里得距离,如果一个特征比其它的特征有更大的范围值,那么距离将会被这个特征值所主导。因此每个特征应该被归一化,比如将取值范围处理为0到1之间。 在梯度下降法中,当有多个特征向量的时候,如果其中一个变化范围比较大,则该特征向量的参数可能会变化范围很大,从而主导整个梯度下降的过程,使得整个收敛轨迹变得复杂,让收敛的时间更长。 2. 特征缩放的方法2.1 调节比例(Rescaling)这种方法是将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下:
2.2 标准化(Standardization)特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方法在机器学习地算法中被广泛地使用。例如:SVM,逻辑回归和神经网络。这个方法的公式如下:
3. 特征归一化3.1 为什么要进行特征归一化数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。 3.2 特征归一化的意义
3.3 特征归一化的方法3.3.1 Rescaling采用上述的
公式实现。 在
它默认将每种特征的值都归一化到[0,1]之间,归一化后的数值大小范围是可调的(根据
3.3.2 Standardization其数学公式为:
在
StandardScaler的归一化方式是用每个特征减去列均值,再除以列标准差。 ==总结==:
3.3.3 Scaling to unit length其数学公式为:
参考文献
作者介绍:邵洲,在读博士。研究兴趣:数据挖掘、学者迁徙研究。 |
|