python机器学习算法与数据降维分析详解

目录

· 一、数据降维

· 1.特征选择

· 2.主成分分析（PCA）

· 3.降维方法使用流程

· 二、机器学习开发流程

· 1.机器学习算法分类

· 2.机器学习开发流程

· 三、转换器与估计器

· 1.转换器

· 2.估计器

一、数据降维

机器学习中的维度就是特征的数量，降维即减少特征数量。降维方式有：特征选择、主成分分析。

1.特征选择

当出现以下情况时，可选择该方式降维：

①冗余：部分特征的相关度高，容易消耗计算性能

②噪声：部分特征对预测结果有影响

特征选择主要方法：过滤式（VarianceThreshold）、嵌入式（正则化、决策树）

过滤式：

sklearn特征选择API

sklearn.feature_selection.VarianceThreshold

 

注意：没有最好的方差选择，需要根据实际效果选择方差。

2.主成分分析（PCA）

API：sklearn.decomposition

主成分分析会尽可能降低原数据的维数，损失少量信息。当特征数量达到上百的时候，就需要考虑主成分分析。可以削减回归分析或者聚类分析中特征的数量。

PCA语法：

 

里面的n_components通常填0-1的小数，代表保留百分之多少的数据，比如0.95意思是保留95%的数据。通常在0.9-0.95之间

3.降维方法使用流程

例如：研究用户和购买物品类别的关系，数据有不同的表格存储，均为csv文件，但所需的两者“用户”和“购买物品类别”，存在于不同的表中。则可以按照以下流程进行：

1.观察各个表格的键，通过相同的键对表格进行合并，使用pandas.merge(表1,表2,键1,键2)方法，其中键1和键2相同。经过多次合并，最终将两个目标合并到一张表中。

2.通过交叉表pd.crosstab(合并后的表['用户'], 合并后的表['物品类别'])，建立一个以用户为行，以物品类别为列的数据表。

3.对表格进行数据的降维，可以使用PCA(n_components=0.9)，保留90%的有效信息，输出降维后的数据。即可有效减少维度，并确保留存90%的有效信息。

二、机器学习开发流程

1.机器学习算法分类

数据类型：

离散型：区间内不可分，通常是在分类型问题中。

连续型：区间内可分，通常是在预测型问题中。

算法分类：

算法总体分为两类，监督学习和无监督学习。

①监督学习包含特征值+目标值，算法又分为两小类，分类算法和回归算法。

分类算法：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络

回归算法：线性回归、岭回归

②无监督学习只有特征值，通常是聚类算法：k-means

2.机器学习开发流程

 

机器学习开发首先需要有数据，数据来源可能有以下几种：公司本身有数据、合作过来的数据、购买的数据。

具体开发流程如下：

①明确实际问题做什么：根据目标值数据类型，建立模型，划分应用种类。看看是分类问题还是预测问题。

②数据的基本处理：使用pandas处理数据，缺失值，合并表等等。

③特征工程：对数据特征进行处理（重要）。

④找到合适的算法去进行预测。

⑤模型的评估，判定效果→上线使用，以API形式提供；若模型评估没有合格：换算法、参数，特征工程

sklearn数据集的使用：

通常在使用前会对数据集进行划分，从数据中拿出约75%作为训练集、25%作为测试集。也可以0.8/0.2等。通常0.75/0.25是使用最多的。

sklearn数据集划分API：sklearn.model_selection.train_set_split

sklearn数据集API：

 

获取数据集返回的类型：

 

数据集进行分割：

 

用于分类的大数据集：

 

sklearn回归数据集：

 

三、转换器与估计器

1.转换器

在数据处理中用到的fit_tansform方法中，其实可以拆分为fit方法和transform方法。

fit_transform() = fit() + transform()

若直接使用fit_transform()，则是对输入的数据进行求平均值、标准差，并使用它们进行数据处理最终输出结果。

如果拆开的话：

fit()：输入数据，计算平均值，标准差等，不进行后续工作。

transform()：使用fit计算好的内容进行转换。

也就是说可以通过fit()方法，生成1个数据对应的标准，使用这个标准，对其他数据，通过transform方法进行转换。

2.估计器

 

估计器就是已经实现了的算法的API，可以直接调用，输入相关数据，对结果进行预测等。

估计器工作流程：

1.调用fit(x_train, y_train)，输入训练集

2.输入测试集的数据（x_test, y_test），调用不同接口可得不同结果

API①：y_predict = predict(x_test)，该接口可获得算法对y的预测值。

API②：score(x_test, y_test) ，该接口可获得预测的准确率。