Python实现机器学习一（实现一元线性回归）

    回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。顾名思义，分类算法用于离散型分布预测，如前面讲过的KNN、决策树、朴素贝叶斯、adaboost、SVM、Logistic回归都是分类算法；回归算法用于连续型分布预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升，因为这样可以预测连续型数据而不仅仅是离散的类别标签。

    回归的目的就是建立一个回归方程用来预测目标值，回归的求解就是求这个回归方程的回归系数。预测的方法当然十分简单，回归系数乘以输入值再全部相加就得到了预测值。

这里说一下线性回归模型。

1、若X与y之间存在着较强的相关关系，则有y=a+bX+c.

2、若a与b的值已知，则给出相应的X值。我们可以得到相应的y的预测值。

  参数：
      截距项a
      斜率b
  误差项c
例子:商品销量s关于电视广告费用t的回归方程:s=10+3.4*t(单位:万元)

接下来为带来的一个关于买房子的例子。注：这个例子出处：http://Python.jobbole.com/81215/  ，并非我的原创，这里给出链接。我不过添加了一些注释和总结，希望大家珍惜原创。

1) 预测房子价格

我们想预测特定房子的价值，预测依据是房屋面积。

我们有下面的数据集：

输入编号	平方英尺	价格
1	150	6450
2	200	7450
3	250	8450
4	300	9450
5	350	11450
6	400	15450
7	600	18450

步骤1：在线性回归中，我们都知道必须在数据中找出一种线性关系，以使我们可以得到a和b。 我们的假设方程式如下所示：

       y(X)=a+bX

其中： y(X)是关于特定平方英尺的价格值（我们要预测的值），意思是价格是平方英尺的线性函数； a是一个常数； b是回归系数。那么现在开始编程：

打开你最喜爱的文本编辑器，并命名为predict_house_price.py。我们在我们的程序中要用到下面的包，所以把下面代码复制到predict_house_price.py文件中去。

[python] view plain copy print?

1. # Required Packages  
2. import matplotlib.pyplot as plt  
3. import numpy as np  
4. import pandas as pd  
5. from sklearn import datasets, linear_model  

    运行一下你的代码。如果你的程序没错，那步骤1基本做完了。如果你遇到了某些错误，这意味着你丢失了一些包。这时需要安装这些包。这里我假设现在你的程序没错了，我们继续……

步骤2
   我把数据存储成一个.csv文件，名字为input_data.csv 所以让我们写一个函数把数据转换为X值（平方英尺）、Y值（价格）。这一步很简单的，可以先用Excel来存储数据，记得写上列名。之后保存的时候另存为cvs格式即可。

[python] view plain copy print?

1. # Function to get data  
2. def get_data(file_name):  
3.  data = pd.read_csv(file_name)  #here ,use pandas to read cvs file.  
4.  X_parameter = []  
5.  Y_parameter = []  
6.  for single_square_feet ,single_price_value in zip(data['square_feet'],data['price']):#遍历数据，  
7.        X_parameter.append([float(single_square_feet)])#存储在相应的list列表中  
8.        Y_parameter.append(float(single_price_value))  
9.  return X_parameter,Y_parameter  

第3行：将.csv数据读入Pandas数据帧。第6-9行：把Pandas数据帧转换为X_parameter和Y_parameter数据，并返回他们。所以，让我们把X_parameter和Y_parameter打印出来：

[html] view plain copy print?

1. [[150.0], [200.0], [250.0], [300.0], [350.0], [400.0], [600.0]]  
2. [6450.0, 7450.0, 8450.0, 9450.0, 11450.0, 15450.0, 18450.0]  

步骤3

现在让我们把X_parameter和Y_parameter拟合为线性回归模型。我们要写一个函数，输入为X_parameters、Y_parameter和你要预测的平方英尺值，返回a、b和预测出的价格值。这里使用的是scikit-learn机器学习算法包。该算法包是目前python实现的机器算法包最好的一个。

[python] view plain copy print?

1. <pre name="code" class="python">  

[python] view plain copy print?

1. #Function for Fitting our data to Linear model  
2. def linear_model_main(X_parameters,Y_parameters,predict_value):  
3.    
4.  # Create linear regression object  
5.  regr = linear_model.LinearRegression()  
6.  regr.fit(X_parameters, Y_parameters)   #train model  
7.  predict_outcome = regr.predict(predict_value)  
8.  predictions = {}  
9.  predictions['intercept'] = regr.intercept_  
10.  predictions['coefficient'] = regr.coef_  
11.  predictions['predicted_value'] = predict_outcome  
12.  return predictions  

第5-6行：首先，创建一个线性模型，用我们的X_parameters和Y_parameter训练它。第8-12行：我们创建一个名称为predictions的字典，存着a、b和预测值，并返回predictions字典为输出。所以让我们调用一下我们的函数，要预测的平方英尺值为700。

[python] view plain copy print?

1. <pre name="code" class="html">  

[python] view plain copy print?

1. X,Y = get_data('input_data.csv')  
2. predictvalue = 700  
3. result = linear_model_main(X,Y,predictvalue)  
4. print "Intercept value " , result['intercept']  
5. print "coefficient" , result['coefficient']  
6. print "Predicted value: ",result['predicted_value']  

脚本输出：Intercept value 1771.80851064 coefficient [ 28.77659574] Predicted value: [ 21915.42553191] [Finished in 0.7s]

这里，Intercept value（截距值）就是a的值，coefficient value（系数）就是b的值。 我们得到预测的价格值为21915.4255——意味着我们已经把预测房子价格的工作做完了！为了验证，我们需要看看我们的数据怎么拟合线性回归。所以我们需要写一个函数，输入为X_parameters和Y_parameters，显示出数据拟合的直线。

[html] view plain copy print?

1. # Function to show the resutls of linear fit model  
2. def show_linear_line(X_parameters,Y_parameters):  
3.  # Create linear regression object  
4.  regr = linear_model.LinearRegression()  
5.  regr.fit(X_parameters, Y_parameters)  
6.  plt.scatter(X_parameters,Y_parameters,color='blue')  
7.  plt.plot(X_parameters,regr.predict(X_parameters),color='red',linewidth=4)  
8.  plt.xticks(())  
9.  plt.yticks(())  
10.  plt.show()  

那么调用一下show_linear_line函数吧：show_linear_line(X,Y)

脚本输出：

后话：这里使用的是scikit-learn机器学习算法包。该算法包是目前python实现的机器算法包最好的一个。本文的代码我都亲测通过了。下一次我会总结多元线性回归的算法实现。