 回归分析是一种预测性的建模技术，研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析是建模和分析数据的重要工具。比如预测股票价格走势、预测居民收入、预测微博互动量等等。常用的有线性回归、逻辑回归、岭回归等。本文主要使用线性回归。 01 案例导入：房屋租金回归分析 本文使用的租房数据集是经过 前一篇 数据预处理后的“北京链家网”租房数据集，数据存储在newbj_lianJia.csv文件中，共4322条数据。每条数据包含房屋的详细信息：ID、楼层（floor）、有无电梯（lift）、城区名（district）、街道名（street）、小区名（community）、面积（area）、房屋朝向（toward）、户型（model）、总楼层（totalfloor）和租金（rent）信息，共计11个属性。房屋详细信息如图8-1所示。
■图8-1租房数据集的部分数据展示 本案例任务要求：找到数据表中的特征属性与房屋租金（rent）的关系，并使用线性回归模型对租金进行回归分析。 02 案例实现 “北京链家网”租房数据的租金回归分析的实现流程为：首先导入数据，对数据进行预处理；然后讨论租金与其他属性是否存在线性关系；接下来对房屋面积和租金建立线性回归模型；最后评估回归模型的效果。具体实现过程如下。 （1） 导入库。其中LabelEncoder模块用于数据预处理时对非数值型数据进行数字化，train_test_split模块将数据集划分为训练集和测试集，linear_model模块用于构建线性模型。代码如下。  （2） 读入数据，并对数据做预处理。 ①读入数据。使用Pandas库的read_csv（）读入“北京链家网”的租房数据集newbj_lianJia.csv。读入数据表的10列数据分别是：楼层（floor）、有无电梯（lift）、城区名（district）、街道名（street）、小区名（community）、面积（area）、房屋朝向（toward）、户型（model）、总楼层（totalfloor）和租金（rent）。代码如下。  输出结果为:  ② 重复值处理和缺失值处理。在第5章实现案例时，已经对数据集进行了重复值和缺失值处理，所以本章使用的数据集不存在重复行和缺失值。 ③ 分解户型model列数据。将model列的取值“*室*厅*卫”拆分为3个列：bedroom、livingroom和bathroom，分别对应室、厅和卫。具体来说，首先定义3个函数，分别获取室、厅和卫的数据，然后使用Pandas库的map（）方法将3个函数应用于数据表的model列。代码如下。
 ④ 数据编码。回归分析或某些机器学习算法是基于数学函数的，这些算法的输入要求是数值型数据，所以如果数据集中出现了非数值型数据，数据分析的结果可能是不理想的。例如，在本章所使用的租房数据集中，楼层floor这个属性有4个取值，即地下室、低楼层、中楼层和高楼层，这时需要将4个属性值转换为数值型数据。可以自行编写程序，将非数值型数据转换成数值型数据，也可以使用Scikit-learn库提供的两种方法：LabelEncoder 和 OneHotEncoder。 LabelEncoder又称为标签编码，例如将楼层floor的4个取值（地下室、低楼层、中楼层和高楼层）转换为数值0、1、2、3，这就是标签编码。OneHotEncoder又称为独热编码，将每一个非数值型变量的m个可能的取值转变成m个0或1，对于每一个变量，这m个值中仅有一个值为1，其他的都为0，例如使用OneHotEncoder方法将楼层floor编码为4位0或1的数值：地下室=>1000、低楼层=>0100、中楼层=>0010、高楼层=>0001。利用OneHotEncoder将非数值型数据转为0和1，有利于提升计算速度。但是这种编码方式增加了数据维度，比如原楼层属性只有一列数据，如果按照OneHotEncoder编码，数据列变成了4列数据。所以如果需要编码的属性的取值数目不多，建议优先考虑OneHotEncoder，如果取值数目较多，使用OneHotEncoder会使特征空间变得非常大，所以此时不建议使用OneHotEncoder。 本文对属性取值比较少的floor和lift两个属性进行自定义编码，对属性取值比较多的district、street、community和toward属性使用LabelEncoder编码。OneHotEncoder方法读者可自行练习。代码如下。
 将重新编码后的数据保存为rent.csv文件。代码如下。  最终，数据处理后的数据如图8-3所示。
■图8-3数据预处理后的房屋租金数据集展示 （3） 分析特征属性与租金是否有线性关系。将数据预处理后，新的数据集的特征属性变为12个，如图8-3所示。这些特征属性不一定与租金有线性关系。为了提高线性回归模型的预测效果，本章只使用与租金有较强线性关系的属性作为特征属性来预测租金。判定这11个特征属性中哪些属性与租金有线性关系，下面给出两种方法。 ① 第一种方法：画出所有特征属性与租金分布的散点图，通过可视化比较直观地判断是否存在线性关系。实现代码如下。
 代码使用循环结构将11个特征属性与租金的散点图分别画在11个子图中，如图8-4所示。从图中可以看出，只有area这个属性和rent存在线性相关关系。
■ 图8-4数据集中特征属性和租金的散点分布图 ② 第二种方法：使用相关系数判定。Pandas提供了corr（）方法计算变量之间的相关性，该方法的返回值范围为［-1，1］，0表示两个变量不相关，正值表示正相关，负值表示负相关，绝对值越大，相关性越强。实现代码如下，结果如图8-5所示。
■ 图8-5数据表中属性之间的相关系数 从图8-5可以看出，只有area属性和rent存在较强的线性相关关系。 根据以上两种方法的结果，选择area作为特征属性与租金建立线性回归模型。 （4） 建立线性回归模型。 ① 读取特征列数据和目标列数据。使用area作为特征列，目标列为rent。代码如下。 ② 将数据集划分为训练集和测试集。在sklearn.model_selection中导入train_test_split（）方法，从样本中按比例选取训练集和测试集。train_test_split（）方法的语法如下。 参数说明如下。 ●x：待划分的特征数据。 ●y：待划分的目标数据。 ●test_size：定义测试集大小。如果是0.0到1.0之间的浮点数，则表示用于测试样本的占比，如果是整数，则表示样本的数量。 ●train_size：定义训练集大小，类似于test_size。使用train_test_split（）方法时，应该提供train_size或test_size。如果两者都没有给出，则用于测试的数据集的默认占比为0.25。 ●random_state：随机数的种子，在划分数据集时控制随机化。它可以是None或一个整数，如果random_state等于None，则每次产生的训练集和测试集的划分结果不同。如果在重复试验时需要得到相同的划分数据集，则将random_state设置为非0的整数。 ③ 构建线性回归模型，并输出线性方程。代码如下。 输出结果为: ④ 画出训练数据的线性拟合图，通过可视化比较直观地看到线性拟合的效果。代码如下。 （5） 回归模型的评价。使用测试集对回归模型进行评价，本章使用决定系数作为衡量回归模型效果好坏的指标。这里调用了线性回归对象的score（）方法和sklearn.metrics模块下的r2_score（）方法。代码如下。 输出结果为： 可以看出，score（）和r2_score（）方法的输出结果是一致的，这表明Scikit-learn库的score()方法使用了“决定系数”这一指标。决定系数越接近于1，说明模型的数据拟合性越好，反之，决定系数越接近于0，表明模型的数据拟合度越差。 如果测试集和训练集的决定系数值差别比较大，则表明训练的回归模型可能存在一定问题。将回归模型应用于训练集，输出决定系数值。代码如下。 输出结果为： 从运行结果可以看出，训练集合的决定系数（0.591） 略高于测试集合的决定系数（0.584），这是符合预期的。 03 参考书籍
|
|
|
