1、K-近邻算法(KNN)1.1 定义(KNN,K-NearestNeighbor) 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。 1.2 距离公式两个样本的距离可以通过如下公式计算,又叫欧式距离。 简单理解这个算法: 这个算法是用来给特征值分类的,是属于有监督学习的领域,根据不断计算特征值和有目标值的特征值的距离来判断某个样本是否属于某个目标值。 可以理解为根据你的邻居来判断你属于哪个类别。 1.3 API
1.4 案例(预测签到位置)from sklearn.model_selection import train_test_splitfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerimport pandas as pddef knncls(): """ K近邻算法预测入住位置类别 row_id,x,y,accuracy,time,place_id 用户ID,坐标x,坐标y,准确度,时间,位置ID :return: """ # 一、处理数据以及特征工程 # 1、读取收,缩小数据的范围 data = pd.read_csv("./train.csv") # 数据逻辑筛选操作 df.query() data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75") # 删除time这一列特征 data = data.drop(['time'], axis=1) print(data) # 删除入住次数少于三次位置 place_count = data.groupby('place_id').count() tf = place_count[place_count.row_id > 3].reset_index() data = data[data['place_id'].isin(tf.place_id)] # 3、取出特征值和目标值 y = data['place_id'] # y = data[['place_id']] x = data.drop(['place_id', 'row_id'], axis=1) # 4、数据分割与特征工程? # (1)、数据分割 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3) # (2)、标准化 std = StandardScaler() # 队训练集进行标准化操作 x_train = std.fit_transform(x_train) print(x_train) # 进行测试集的标准化操作 x_test = std.fit_transform(x_test) # 二、算法的输入训练预测 # K值:算法传入参数不定的值 理论上:k = 根号(样本数) # K值:后面会使用参数调优方法,去轮流试出最好的参数[1,3,5,10,20,100,200] knn = KNeighborsClassifier(n_neighbors=1) # 调用fit() knn.fit(x_train, y_train) # 预测测试数据集,得出准确率 y_predict = knn.predict(x_test) print("预测测试集类别:", y_predict) print("准确率为:", knn.score(x_test, y_test)) return Noneif __name__ == '__main__': print() 返回结果: row_id x y accuracy place_id600 600 1.2214 2.7023 17 6683426742957 957 1.1832 2.6891 58 66834267424345 4345 1.1935 2.6550 11 68897906534735 4735 1.1452 2.6074 49 68223597525580 5580 1.0089 2.7287 19 1527921905... ... ... ... ... ...29100203 29100203 1.0129 2.6775 12 331246374629108443 29108443 1.1474 2.6840 36 353317777929109993 29109993 1.0240 2.7238 62 642497255129111539 29111539 1.2032 2.6796 87 353317777929112154 29112154 1.1070 2.5419 178 4932578245[17710 rows x 5 columns] [[-0.39289714 -1.20169649 0.03123826] [-0.52988735 0.71519711 -0.08049297] [ 0.84001481 0.82113447 -0.73225846] ... [-0.64878452 -0.59040929 -0.20153513] [-1.37250642 -1.33053923 -0.44361946] [-0.11503962 -1.30477068 -0.22946794]] 预测测试集类别: [4932578245 3312463746 8048985799 ... 1285051622 2199223958 6780386626] 准确率为: 0.4034672970843184Process finished with exit code 0 knn.fit(x_train, y_train) 用x_train, y_train训练模型 模型训练好之后 y_predict = knn.predict(x_test) 调用预测方法预测x_test的结果 计算准确率print("准确率为:", knn.score(x_test, y_test)) 补充估计器estimator工作流程 准确率: 分类算法的评估之一
k值取很小:容易受到异常点的影响,比如说有异常的邻居出现在你旁边,那么你的计算结果就会很大程度地受其影响。 k值取很大:受到样本均衡的问题,k值过大相当于选的参考邻居太多了,以至于不知道选哪一个作为标准才好。
距离计算,时间复杂度高 小结:
2、交叉验证(cross validation)交叉验证:将拿到的训练数据,分为训练和验证集。以下图为例:将数据分成4份,其中一份作为验证集。然后经过4次(组)的测试,每次都更换不同的验证集。即得到4组模型的结果,取平均值作为最终结果。又称4折交叉验证。 2.1 分析我们之前知道数据分为训练集和测试集,但是为了让从训练得到模型结果更加准确。做以下处理
2.2 超参数搜索-网格搜索(Grid Search)通常情况下,有很多参数是需要手动指定的(如k-近邻算法中的K值),这种叫超参数。但是手动过程繁杂,所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
简单理解:就是在训练的时候随机选一组数据做自身验证,然后去比较哪次的结果好一些,就选这个训练的模型作为结果! 2.3 案例(KNN算法---鸢尾花分类)def knn_iris_gscv(): """ 用KNN算法对鸢尾花进行分类,添加网格搜索和交叉验证 :return: """ # 1)获取数据 iris = load_iris() # 2)划分数据集 x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22) # 3)特征工程:标准化 transfer = StandardScaler() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) # 4)KNN算法预估器 estimator = KNeighborsClassifier() # 加入网格搜索与交叉验证 # 参数准备 n可能的取值 用字典表示 cv = ? 表示几折交叉验证 param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]} estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10) estimator.fit(x_train, y_train) # 5)模型评估 # 方法1:直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2:计算准确率 score = estimator.score(x_test, y_test) print("准确率为:\n", score) # 最佳参数:best_params_ print("最佳参数:\n", estimator.best_params_) # 最佳结果:best_score_ print("最佳结果:\n", estimator.best_score_) # 最佳估计器:best_estimator_ print("最佳估计器:\n", estimator.best_estimator_) # 交叉验证结果:cv_results_ print("交叉验证结果:\n", estimator.cv_results_) return None 返回结果: y_predict: [0 2 1 2 1 1 1 2 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 2 2 2 2 0 0 1 1 1 0 0 0] 直接比对真实值和预测值: [ True True True True True True True True True True True True True True True True True True False True True True True True True True True True True True True True True True True True True True] 准确率为: 0.9736842105263158最佳参数: {'n_neighbors': 3} 最佳结果: 0.9553030303030303最佳估计器: KNeighborsClassifier(n_neighbors=3) 交叉验证结果: {'mean_fit_time': array([0.00059769, 0.0005955 , 0.00069804, 0.00039876, 0.00049932, 0.00039904]), 'std_fit_time': array([0.00048802, 0.00048625, 0.00063848, 0.00048837, 0.00049932, 0.00048872]), 'mean_score_time': array([0.00144098, 0.00109758, 0.00109758, 0.00089834, 0.00109644, 0.00089748]), 'std_score_time': array([0.00047056, 0.00030139, 0.00029901, 0.0005389 , 0.00029947, 0.00029916]), 'param_n_neighbors': masked_array(data=[1, 3, 5, 7, 9, 11], mask=[False, False, False, False, False, False], fill_value='?', dtype=object), 'params': [{'n_neighbors': 1}, {'n_neighbors': 3}, {'n_neighbors': 5}, {'n_neighbors': 7}, {'n_neighbors': 9}, {'n_neighbors': 11}], 'split0_test_score': array([0.91666667, 0.91666667, 1. , 1. , 0.91666667, 0.91666667]), 'split1_test_score': array([1., 1., 1., 1., 1., 1.]), 'split2_test_score': array([0.90909091, 0.90909091, 0.90909091, 0.90909091, 0.90909091, 0.90909091]), 'split3_test_score': array([0.90909091, 1. , 0.90909091, 0.90909091, 0.90909091, 1. ]), 'split4_test_score': array([1., 1., 1., 1., 1., 1.]), 'split5_test_score': array([0.90909091, 0.90909091, 0.90909091, 0.90909091, 0.90909091, 0.90909091]), 'split6_test_score': array([0.90909091, 0.90909091, 0.90909091, 1. , 1. , 1. ]), 'split7_test_score': array([0.90909091, 0.90909091, 0.81818182, 0.81818182, 0.81818182, 0.81818182]), 'split8_test_score': array([1., 1., 1., 1., 1., 1.]), 'split9_test_score': array([1., 1., 1., 1., 1., 1.]), 'mean_test_score': array([0.94621212, 0.95530303, 0.94545455, 0.95454545, 0.94621212, 0.95530303]), 'std_test_score': array([0.04397204, 0.0447483 , 0.06030227, 0.06098367, 0.05988683, 0.0604591 ]), 'rank_test_score': array([4, 1, 6, 3, 4, 1])} 3、朴素贝叶斯算法垃圾邮件分类: 3.1 贝叶斯公式公式分为三个部分:
朴素贝叶斯即假定所有的特征值之间相互独立 3.2 文档分类计算科技:P(科技|影院,支付宝,云计算) = 𝑃(影院,支付宝,云计算|科技)∗P(科技)=(8/100)∗(20/100)∗(63/100)∗(30/90) = 0.00456109娱乐:P(娱乐|影院,支付宝,云计算) = 𝑃(影院,支付宝,云计算|娱乐)∗P(娱乐)=(56/121)∗(15/121)∗(0/121)∗(60/90) = 0 为了不出现概率为0的情况 3.3 拉普拉斯平滑系数目的:防止计算出的分类概率为0 P(娱乐|影院,支付宝,云计算) =P(影院,支付宝,云计算|娱乐)P(娱乐) =P(影院|娱乐)*P(支付宝|娱乐)*P(云计算|娱乐)P(娱乐)=(56+1/121+4)(15+1/121+4)(0+1/121+1*4)(60/90) = 0.00002 3.4 案例(新闻分类)
def nb_news(): """ 用朴素贝叶斯算法对新闻进行分类 :return: """ # 1)获取数据 news = fetch_20newsgroups(subset="all") print("特征值名字:\n ",news["DESCR"]) # 2)划分数据集 x_train, x_test, y_train, y_test = train_test_split(news.data, news.target) # 3)特征工程:文本特征抽取-tfidf transfer = TfidfVectorizer() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) # 4)朴素贝叶斯算法预估器流程 estimator = MultinomialNB() estimator.fit(x_train, y_train) # 5)模型评估 # 方法1:直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2:计算准确率 score = estimator.score(x_test, y_test) print("准确率为:\n", score) return None 返回结果: y_predict: [14 1 14 ... 12 6 5] 直接比对真实值和预测值: [ True True True ... True True False] 准确率为: 0.8423174872665535 小结:
4、决策树4.1 认识决策树决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。 决策树分类原理银行贷款数据: 4.2 信息熵
当我们得到的额外信息(球队历史比赛情况等等)越多的话,那么我们猜测的代价越小(猜测的不确定性减小) 当你获取各个信息的概率都不变(且都是相同的百分之50 也就是成立或者不成立 )的时候,信息熵是一定的,只要获取信息的概率发生变化(比如其中某条信息成立的概率变成了百分之60,不成立的概率变成百分之40),那么新的信息熵的值一定会大于刚刚计算的值。 问题: 回到我们前面的贷款案例,怎么去划分?可以利用当得知某个特征(比如是否有房子)之后,我们能够减少的不确定性大小。越大我们可以认为这个特征很重要。那怎么去衡量减少的不确定性大小呢? 4.3 决策树的划分依据之一---信息增益特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,即公式为: 注:信息增益表示得知特征X的信息的不确定性减少的程度使得类Y的信息熵减少的程度 得知某特征之后信息的不确定性就会减少,那么信息增益就表示这个新信息的加入会给这个分类的最终信息熵带来多大的减少程度,如果带来的效益越大,说明这条信息越有价值。 比如上面的银行贷款案例: 1、g(D, 年龄) = H(D) -H(D|年龄) = 0.971-[5/15H(青年)+5/15H(中年)+5/15H(老年]2、H(D) = -(6/15log(6/15)+9/15log(9/15))=0.9713、H(青年) = -(3/5log(3/5) +2/5log(2/5)) H(中年)=-(3/5log(3/5) +2/5log(2/5)) H(老年)=-(4/5og(4/5)+1/5log(1/5)) 我们以A1、A2、A3、A4代表年龄、有工作、有自己的房子和贷款情况。最终计算的结果g(D, A1) = 0.313, g(D, A2) = 0.324, g(D, A3) = 0.420,g(D, A4) = 0.363。所以我们选择A3(A3最大,最有价值,所以放在树的前面)作为划分的第一个特征。这样我们就可以一棵树慢慢建立。 4.4 决策树的三种算法实现
案例(用决策树对鸢尾花进行分类)
def decision_iris(): """ 用决策树对鸢尾花进行分类 :return: """ # 1)获取数据集 iris = load_iris() # 2)划分数据集 x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22) # 3)决策树预估器 """ 决策树分类器 criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’ max_depth:树的深度大小 random_state:随机数种子 """ estimator = DecisionTreeClassifier(criterion="entropy") estimator.fit(x_train, y_train) # 4)模型评估 # 方法1:直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2:计算准确率 score = estimator.score(x_test, y_test) print("准确率为:\n", score) # 可视化决策树 export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names) return None 返回结果: y_predict: [0 2 1 2 1 1 1 1 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 2 2 2 1 0 0 1 1 1 0 0 0] 直接比对真实值和预测值: [ True True True True True True True False True True True True True True True True True True False True True True True True True True True True True False True True True True True True True True] 准确率为: 0.9210526315789473 小结:
注:企业重要决策,由于决策树很好的分析能力,在决策过程应用较多, 可以选择特征 5、随机森林5.1 什么是集成学习方法集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。 5.2 什么是随机森林在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。
5.3 随机森林原理过程学习算法根据下列算法而建造每棵树:
5.4 随机森林API
# 随机森林去进行预测rf = RandomForestClassifier() param = {"n_estimators": [120,200,300,500,800,1200], "max_depth": [5, 8, 15, 25, 30]}# 超参数调优gc = GridSearchCV(rf, param_grid=param, cv=2) gc.fit(x_train, y_train)print("随机森林预测的准确率为:", gc.score(x_test, y_test)) 小结:
几个问题:1、数据集的结构是什么?答案: 特征值+ 目标值 2、机器学习算法分成哪些类别? 如何分类答案: 根据是否有目标值分为
根据目标值的数据类型
3、什么是标准化? 和归一化相比有什么优点?答案: 标准化是通过对原始数据进行变换把数据变换到均值为0,方差为1范围内 优点: 少量异常点, 不影响平均值和方差, 对转换影响小 |
|