从实践的角度理解主成分分析

taotao_2016 2021-02-11

展开全文

主成分分析是提高机器学习算法处理大量数据和特征的性能的最常用方法之一。然而，有时PCA可能太复杂，太技术化，甚至太乏味，无法正确理解基本原理，因此，我决定写这篇文章，以实际的方式阐明每一步，并易于初学者理解。

首先我们需要更好地理解为什么需要在机器学习中使用PCA：

去除噪声数据：有时在一个数据集中，有太多的数据需要分析，我们是否需要包括或删除它，以提高算法的性能。然而，使用PCA，它会过滤掉噪声数据，只留下突出的数据；
提高性能：通过从数据集中去除大量不相关的特征，将自动大大减少机器学习中的训练时间；
简化可视化：太多的特征迫使我们分析太多的图形，这些图形有时看起来很混乱，无论是对我们还是对客户来说，都是为了消化数据。通过去掉那些没有影响的特征，我们将能够简单地将数据可视化，并使其更易于理解；
减少过拟合：有许多发生过拟合仅仅是因为太多的特征。PCA显然有助于缓解这一问题。

实现

在本文中，我们通过下载的Kaggle数据集实现PCA（https://www./tomk23/hr-dataset/download）。通过pandas的head函数，我们可以看到数据集的特征和数据如下：

数据清理

如我们所见，原始数据集由10个特征组成，还有一些离散数据。机器学习算法不能消化离散数据，我们需要将它们转换为有序数据。

对于PCA，同样的情况下，需要将销售和薪资特征转换为有序数据，如下所示：

data['salary'] = data['salary'].map( {'low': 1, 'medium': 2, 'high':3} ).astype(int)data['sales'] = data['sales'].map( {'accounting': 1, 'hr': 2, 'IT':3, 'management':4, 'marketing':5, 'product_mng':6, 'RandD':7, 'sales':8, 'support':9, 'technical':10} ).astype(int)

这将为我们提供一个没有任何离散数据的新数据集，如下所示：

如我们所见，left 特征是一个标签，因此，在接下来的几个步骤中，可以更方便地将其设置在数据列的最左侧，以便进行数据拆分。首先，我们需要将特征转换为列表，以便能够重新排列列。

columns = data.columns.tolist()

然后将left特征放到第一列。

columns.insert(0, columns.pop(columns.index('left')))

然后再次从列表形式转换为列。

data = data.reindex(columns= columns)

数据划分

由于left特征是一个标签，我们可以对数据集随机化，然后将数据拆分为X和Y，如下X为训练数据，y为标签数据：

X = data.iloc[:,1:10].valuesy = data.iloc[:,0].valuesX

训练数据如下：

现在我们有9个训练数据的特征：

数据标准化

现在我们已经进入了PCA的第一步，这是数据标准化，这是执行PCA之前的必要步骤。基本上，数据标准化的目的是通过使用平均值和标准差来均衡所有数据。

例如，1-A班的安迪在数学考试中得了80分，满分为100分，标准差为6分，而1-B班的海伦在数学考试中得了320分，因为她的老师用的是450分，标准差为68分。因此，为了了解谁的分数更高，我们用百分比来标准化分数，例如，安迪得到80%，海伦得到71%。这样，我们知道安迪的分数比海伦高。

在Python中，我们可以使用sklearn的StandardScaler函数对数据进行标准化，如下所示：

from sklearn.preprocessing import StandardScalerX_std = StandardScaler().fit_transform(X)

Sklearn的StandardScaler的原理是用平均值减去值，再除以标准差：

z：标准化数据
x：原始数据
µ：平均值
σ：标准差值

平均值：

N：数据数量

标准差：

现在，我们的数据集已经通过使用sklearn函数实现了标准化，输出如下：

协方差矩阵

在标准化之后，我们想再次找出每个特征之间的相关性。这可以通过使用以下公式来实现：

或者可以用如下Python代码：

mean_vec = np.mean(X_std)cov_mat = (X_std - mean_vec).T.dot((X_std - mean_vec)) / (X_std.shape[0]-1)print('Covariance matrix', cov_mat)

或者简单地使用Numpy的协方差函数：

print('NumPy covariance matrix:', np.cov(X_std.T))

如果两个代码将提供相同的输出：

求主分量的特征向量和特征值

既然我们通过协方差矩阵了解了每个特征之间的关系，就可以通过计算特征向量和特征值来确定它的主成分。

从上图理解，协方差矩阵被视为A，因此，可以使用下面的Numpy函数来确定特征向量和特征值：

eig_vals, eig_vecs = np.linalg.eig(cov_mat)print('Eigenvectors', eig_vecs)print('\nEigenvalues', eig_vals)

这两个矩阵都显示为：

特征值排序

既然已经找到了特征值和特征向量，我们需要对特征值进行排序，以确定哪个特征向量在数据集中最相关。首先，我们需要将每个特征值和特征向量组合成一列特征对：

eig_pairs = [(np.abs(eig_vals[i]), eig_vecs[:,i]) for i in range(len(eig_vals))]

之后，可以将特征对从最高值到最低值进行排序：

eig_pairs.sort(key=lambda x: x[0], reverse=True)

我们可以得到如下所示的有序特征值：

print('Sorted Eigenvalues:')for i in eig_pairs: print(i[0])

确定主成分

现在我们可以从排序后的特征值中得到主成分。主成分的值，这是所谓的解释方差，表明如何突出一个特征。我们目前有9个不同的主成分，因此我们将产生9个不同的百分比方差。

解释方差可通过以下公式确定：

tot = sum(eig_vals)var_exp = [(i / tot)*100 for i in sorted(eig_vals, reverse=True)]

然后我们可以使用Matplotlib绘制出每个主成分的值：

with plt.style.context('bmh'):    plt.figure(figsize=(6, 4))    plt.bar(range(9), var_exp, alpha=0.5, align='center')    plt.ylabel('Explained Variance')    plt.xlabel('Principal components')    plt.tight_layout()

通过上面的图表，我们可以确定最大方差在20.5%左右。最后两个特征与其他特征相比影响比较小，因为它们的方差小于7.5%。因此，我们可以放弃这两个特征。

构造新矩阵

既然决定去掉最后两个特征，我们就可以构造只包含前7个特征的新矩阵。

PCA_matrix = np.hstack((eig_pairs[0][1].reshape(9,1),                       eig_pairs[1][1].reshape(9,1),                      eig_pairs[2][1].reshape(9,1),                       eig_pairs[3][1].reshape(9,1),                      eig_pairs[4][1].reshape(9,1),                       eig_pairs[5][1].reshape(9,1),                      eig_pairs[6][1].reshape(9,1),                    ))

然后利用点积法，利用Y=X·W建立新的特征空间。

Y = X_std.dot(PCA_matrix)

然后我们可以创建一个新的数据集，其中包含每个主成分的数据，包括如下标签：

principalDf = pd.DataFrame(data = Y , columns = ['principal component 1', 'principal component 2', 'principal component 3', 'principal component 4', 'principal component 5', 'principal component 6', 'principal component 7']) finalDf = pd.concat([principalDf,pd.DataFrame(y,columns = ['left'])], axis = 1)

这将为我们提供一个新的数据集，该数据集已通过PCA处理为：