| 共 22 篇文章 |
|
ElasticNet回归及机器学习正则化今晚在练习kaggle时遇到了弹性网络回归，花了些时间简单查了一些资料，算是稍微理解了些。再来看看ElasticNet回归，目标函数为：也就是岭回归和Lasso回归的组合。Python实现ElasticNet回归，有sklearn.linear_model.ElasticNetCV和sklearn.linear_model.ElasticNet两个函数可供选择，前者可以通过迭代选择最佳的... 阅362 转0 评0 公众公开 17-11-27 10:05 |
ElasticNet回归及机器学习正则化今晚在练习kaggle时遇到了弹性网络回归，花了些时间简单查了一些资料，算是稍微理解了些。再来看看ElasticNet回归，目标函数为：也就是岭回归和Lasso回归的组合。Python实现ElasticNet回归，有sklearn.linear_model.ElasticNetCV和sklearn.linear_model.ElasticNet两个函数可供选择，前者可以通过迭代选择最佳的... 阅155 转0 评0 公众公开 17-11-27 10:00 |
从贝叶斯定理说开去简介。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。后验概率 = (相似度 * 先验概率)/标淮化常量。也就是说，后验概率与先验概率和相似度的乘积成正比。后验概率 = 标淮相似度 * 先验概率。条件概率就是事件 A 在另外一个事件... 阅72 转1 评0 公众公开 16-12-21 09:37 |
RELIEF Feature Selection(RELIEF特征选择) Python实现。因此，当随机选择sample的某个特征与near-miss的相应特征的距离比与near-hit的相应特征的距离要小的时候，这个特征的权重就会被降低。当迭代次数只有sample的一半以下时，每次抽取一个sample计算与其他sample的距离要比一次性计算所有sample之间的距离时间复杂度上要低，反之如果迭代次... 阅1930 转9 评0 公众公开 16-12-19 23:22 |
C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：5 最大期望(EM)算法。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。K最近邻(k-Nearest Neighb... 阅38 转1 评0 公众公开 16-10-06 10:20 |
事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 cluster 了，而 GMM 则给出这些数据点被 assign 到每个 cluster 的概率，又称作 soft assignment 。%% PX = GMM(X, K_OR_CENTROID... 阅45 转0 评0 公众公开 16-08-28 15:44 |
mixed model混合模型。混合模型是一个统计模型，包含fixed effects和random effects两种效应的混合。固定效应模型。方差分析的三种模型：固定效应模型、随机效应模型、混合效应模型。事实上，随机效应模型就是一个带惩罚项penalty的一个线性模型，引入正态随机效应就等价于增加一个二次惩罚。随机效应和固定效应模型的区别在于：随机效应模型认... 阅728 转2 评0 公众公开 16-08-28 10:52 |
有些方法实现混合模型的步骤涉及到 做子群体认同归属的假设到个人观察结果(或者子群体的权重), 在这种情况下这些步骤可以看着是一类非监督学习或者聚类过程. 并不是所有的推断过程都会涉及这些步骤。 阅154 转1 评0 公众公开 16-08-27 11:03 |
混合高斯模型算法。高斯模型有单高斯模型（SGM）和混合高斯模型（GMM）两种。每个 GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数：5 % 6 % PX = GMM(X, K_OR_CENTROIDS) 7 % [PX MODEL] = GMM(X, K_OR_CENTROIDS) 8 % 9 % - X: N-by-D data matrix.72 end 7... 阅114 转1 评0 公众公开 16-08-27 10:31 |
p(高斯混合模型 ，混合朴素贝叶斯模型，因子分析模型">|高斯混合模型 ，混合朴素贝叶斯模型，因子分析模型">)= 高斯混合模型 ，混合朴素贝叶斯模型，因子分析模型">p(高斯混合模型 ，混合朴素贝叶斯模型，因子分析模型">| 高斯混合模型 ，混合朴素贝叶斯模型，因子分析模型">) （i）高斯混合模型 ... 阅469 转1 评0 公众公开 16-08-26 16:02 |
