| 共 40 篇文章 |
|
Laplace（拉普拉斯）先验与L1正则化，Gauss先验导出L2正则化。现在来看一下为什么Laplace先验会导出L1正则化，也顺便证明Gauss（高斯）先验会导出L2正则化。有先验的好处就是可以在较小的数据集中有良好的泛化性能，当然这是在先验分布是接近真实分布的情况下得到的了，从信息论的角度看，向系统加入了正确先验这个信息，肯定会提高系统的性能... 阅36 转0 评0 公众公开 22-07-13 11:41 |
SarSa中使用ϵ−greedy" role="presentation" style="font-size: 122%; position: relative;">??greedy??greedy策略生成action at+1" role="presentation" style="font-size: 122%; position: relative;">at+1at+1，随即又用 at+1" role="presentation" style="fon... 阅9 转0 评0 公众公开 22-06-27 11:16 |
阅128 转0 评0 公众公开 22-06-26 22:30 |
蚂蚁金服核心技术：百亿特征实时推荐算法揭秘https://developer.aliyun.com/article/714366简介： 文章提出一整套创新算法与架构，通过对TensorFlow底层的弹性改造，解决了在线学习的弹性特征伸缩和稳定性问题，并以GroupLasso和特征在线频次过滤等自研算法优化了模型稀疏性。因此我们提出，能否在实时数据流上模拟离线频次过滤，为特征提供准... 阅142 转1 评0 公众公开 22-06-25 01:33 |
2）LightGBM：直方图算法。（4）直方图算法优缺点。该 b i n 容 器 下 所 有 样 本 的 一 阶 梯 度 之 和 该 b i n 容 器 下 所 有 样 本 的 二 阶 梯 度 之 和 + 正 则 项 （ 参 数 c a t - s m o o t h ） \frac{该bin容器下所有样本的一阶梯度之和}{该bin容器下所有样本的二阶梯度之和} + 正则项（参数 {cat \text{-} smooth}） 该bin容器下... 阅262 转1 评0 公众公开 22-06-20 09:53 |
LightGBM处理分类特征大致流程：先看该特征下划分出的bin容器的个数，如果bin容器的数量小于4，直接使用one vs other方式, 逐个扫描每一个bin容器，找出最佳分裂点;对于bin容器较多的情况, 先进行过滤，只让子集合较大的bin容器参加划分阈值计算, 对每一个符合条件的bin容器进行公式计算(公式如下: 该bin容器下所有样本的一阶梯度之和/该bin容... 阅21 转0 评0 公众公开 22-06-19 22:38 |
所谓做差加速，即一个叶子的直方图可以由它的父亲结点的直方图与它兄弟的直方图做差得到。举例来说，100个样本中，大梯度样本有 20 个，小梯度样本有 80 个，小梯度样本量是大梯度样本数据量的 4 倍，则大样本采样比率 等于 0.2，假设小梯度样本的采样率为 40%，则 等于 0.4，小梯度样本的采样数目等于 0.4 ×100 = 40 个，为了保证采样... 阅326 转1 评0 公众公开 22-06-18 22:38 |
直方图算法 (Histogram算法)● 直方图做差进一步提高效率，计算某一节点的叶节点的直方图可以通过将该节点的直方图与另一子节点的直方图做差得到，所以每次分裂只需计算分裂后样本数较少的子节点的直方图然后通过做差的方式获得另一个子节点的直方图，进一步提高效率。（直方图算法伪代码）根据这一点，我们可以先计算数据量比较小的叶子节点上... 阅443 转2 评0 公众公开 22-06-18 16:26 |
1" role="presentation">|zt,i|<λ1|zt,i|<λ1 ，那么 wi=0" role="presentation">wi=0wi=0 。其物理含义是通过 x0" role="presentation">x0x0 下方的直线的斜率，如下图，f(x)" role="presentation">f(x)f(x) 在 x0" role="presentation">x... 阅37 转0 评0 公众公开 22-06-15 16:43 |
