| 共 38 篇文章 |
|
机器学习PartIII：测试算法和NFL定理 | 学步园。现在你对机器学习算法的分类已经有了一个大体的了解，但在更进一步了解每个算法的细节之前，你还需要对如何测试机器学习算法有一个大体的认识。解决这个问题的一个方法是把你的算法运行二十次（每次输入都把样本运行一遍），其中任意十九次作为训练数据，另外一次作为测试数据，这样一来在得到你... 阅68 转0 评0 公众公开 15-03-16 19:54 |
机器学习理论与实战（十三）概率图模型01.（图二）中的几种求解方法也都是概率图模型或者统计机器学习里经常使用的方法，MCMC方法和变分方法都起源于统计物理，最近很火的深度学习也算是概率图模型的一个应用，尽管你要反对，我也要把它划到概率图模型下^.^，RBM,CRBM,DBM都是很特殊的概率图模型，整个思路从建模到求解方法都是围绕着求取图模... 阅211 转4 评0 公众公开 15-03-16 18:39 |
神经网络又火了，因为深度学习火了，所以必须增加个传统神经网络的介绍,尤其是back propagation算法。比如用贪心预训练来改进初始化参数，相当于找到了一个好的初始点，严格的说是在正负阶段里主动修改了J的“地形”，这是个人的一些理解，最后再结合标签用传统的BP算法继续进行寻找全局最小，这个BP算法的作用在深度学习里也叫权重微调，当然B... 阅291 转4 评0 公众公开 15-03-16 18:38 |
机器学习理论与实战（十）K均值聚类和二分K均值聚类。下面来看看二分K均值聚类算法的代码：到此为止，关于K均值的聚类算法也就说完了，虽然有二分K均值聚类算法改进了K均值聚类算法的不足，但也不是没缺点，它们的共同的缺点就是必须事先确定K的值，现实中的数据我们有可能不知道K的值，如何确定K的值也是学术界一直在研究的问题，现在常用的解... 阅978 转1 评0 公众公开 15-03-16 18:37 |
机器学习理论与实战（九）回归树和模型树。注意一下，CART是一种通过二元切分来构建树的，前面的决策树的构建是通过香农熵最小作为度量，树的节点是个离散的阈值；如果误差变化不大时（代码中(S - bestS)），则生成叶子节点，叶子节点函数是：对于树的叶子节点和节点值的合理性，大家逐个对照（图五）来验证吧。说完了树回归，再简单的提下模型... 阅973 转4 评0 公众公开 15-03-16 18:37 |
机器学习理论与实战（七）Adaboost.说到boosting算法，就不得提一提bagging算法，他们两个都是把一些弱分类器组合起来来进行分类的方法，统称为集成方法（ensemble method）,类似于投资，“不把鸡蛋放在一个篮子”，虽然每个弱分类器分类的不那么准确，但是如果把多个弱分类器组合起来可以得到相当不错的结果，另外要说的是集成方法还可以组合... 阅68 转1 评0 公众公开 15-03-16 18:36 |
机器学习理论与实战（六）支持向量机 上节基本完成了SVM的理论推倒，寻找最大化间隔的目标最终转换成求解拉格朗日乘子变量alpha的求解问题，求出了alpha即可求解出SVM的权重W，有了权重也就有了最大间隔距离，但是其实上节我们有个假设：就是训练集是线性可分的，这样求出的alpha在[0,infinite]。(4)训练算法：采用两种不同的核函数，并对... 阅502 转4 评0 公众公开 15-03-16 18:36 |
有了距离就可以来推导我们刚开始的想法：使得分类器距所有样本距离最远，即最大化边距，但是最大化边距的前提是我们要找到支持向量，也就是离分类器最近的样本点，此时我们就要完成两个优化任务，找到离分类器最近的点（支持向量），然后最大化边距。（公式二） 大括号里面表示找到距离分类超面最近的支持向量，大括号外面则是使得超面离支... 阅150 转3 评0 公众公开 15-03-16 18:36 |
而逻辑回归跟这个有点区别，它是一种非线性函数，拟合功能颇为强大，而且它是连续函数，可以对其求导，这点很重要，如果一个函数不可求导，那它在机器学习用起来很麻烦，早期的海维赛德（Heaviside）阶梯函数就因此被sigmoid函数取代，因为可导意味着我们可以很快找到其极值点，这就是优化方法的重要思想之一：利用求导，得到梯度，然后用梯度... 阅204 转2 评0 公众公开 15-03-16 18:36 |
尽管这个假设很不严密，但是在实际应用中它仍然很有效果，比如文本分类，下面就来看下文本分类实战，判断聊天信息是否是辱骂（abusive）信息(也就是类别为两类，是否辱骂信息)，在此之前，先强调下，朴素贝叶斯的特征向量可以是多维的，上面的公式是一维的，二维的如（公式二）所示，都是相同的计算方法：有了特征向量，我们就可以训练朴素贝叶... 阅369 转1 评0 公众公开 15-03-16 18:35 |
