模型调优

  desc 关于特征工程

使用LR 回归，找出谁的权重大，

1.比如 面积对房价的 权重大，那么就可以进一步细化：

比如 面积 这个因素很重要，那么就着重操作这个因素，比如细化等

比如 继续找：卧室面积，客厅面积，面积比例 ，平方，根号 等也作为 因素加进去

2.再就是还可以这么来，这些特征，比如size，或size平方，或size开根号。这样特征不是相关了吗？

（这相关，但是不是线性相关，而你的model 是线性model）

所以 其平方根号都可以加进去

一般不用三次方，因为维度高了，那么可能使得模型不够稳定

这就是LR解释性强的原因老大们能听懂 

模型融合

比如 bagging，比如 adaboost

bagging （空间）其实就是训练多个模型，然后 vote，不同的模型 吃不同的数据，都是一个子集

adaboost （时间）则是在时间轴上操作的， 每次更改样本权重，着重学习错误

adaboost

two key point: 每一轮都

1. 给本弱分类器配上一个系数

2. 每次样本权重更改

boosting 算法 的方法容易过拟合

boosting 与 bagging 的方法对比

AdaBoost是每个子分类器结果对后面的有影响，bagging是独立的

ada 的好处就是 每次都是 面对 all 数据，bagging 每次是又放回的抽样，取的是数据子集

adaboost 可以是多分类

if adaboot 的弱分类器是多分类，那么 adaboost 就可以多分类

boosting 和 bagging 是两个思想，对应的实现有：

adaboost 和 RandomForest

boosting 算法都可能 过拟合 ：

bagging 下的 树深度

boosting 的迭代次数

都是防止过拟合的方式

high variance 和 

high bias

模型状态 有两种：

过拟合(overfitting/high variance)

欠拟合(underfitting/high bias)

训练好了模型，需要关心的是：模型的是状态

欠拟合 为什么叫做 high bias ？这个的翻译是：高偏差，

而不是高截距(intercept)，即 很多样本离它很远

而 high variance 就是高方差，即 模型上下抖动，为了串上数据点而过度拟合

DT 可以选特征

因为每次 选哪个作为 分支，是按照熵排序的：即 这里有一个次序关系

因此 决策树可以 feature select的

CTR 预估 使用 AUC 作为通用的评价指标  神经网络过拟合 会用正则化，防止过拟合 xgboost 既用 boosting 又用 bagging: BGDT 百度纠错功能示例

一个【观点】这是在考察你 贝叶斯

比如用户输入  米月传，那么你能纠正为 芈月传

why Python 快

Python 很多库的实现是C，所以你本质是在用 C 的， map reduce 也可以 Python

ipython notebook

全部.ipynb放在桌面 然后cmd下切换到桌面

然后运行 ipython notebook

梯度提升树

Gradient boost tree

先拟合一下，然后对 残差，再次拟合，模型叠加，在对残差再次拟合

直到收敛

专门对差值做一个 连续值的预测

如何分析模型

1. 看状态，是 high variance 还是 high bias

variance and bias，李诚经常说的两个词，原来是实在评价训练好的 model 状态

2. case study，尤其是分错的 sample

    1.一 一找出来，这些分错的例子（回归中 哪些样本 bias 大）

    2.它归为这一错类，是哪个因素特征导致的

    3. bad case 之间有没有共性

    4. 是不是缺新的特征

找到共性处理措施就是：比如分错的可能是新上市的商品， 此时的应对 可能就是一些规则

工业界线性的应用

线性回归，LR，LinearSVM 都是线性核，即 kernel 是线性的

工业界很多是线性模型，对于权重大的 那个因素，做细化的工作

就是 重要因素，多方面挖掘，着重挖掘，即：

重要特征的 组合变异 比哪些本征的小权重因素还要重要

过拟合是不能降维

确实防止了过拟合，但是准确率不会提升

降维是在损失信息

验证集和测试集

交叉验证集做参数/模型选择# 选 LR 还是 SVM ，可以从这里得到

测试集只做模型效果评估，即 百分之多少的准确率 应该说是从 test data 上得到的

# 这个可以视为：convention

一些经验

数据量太大 不适合用SVM

SVM 一般比其他的分类器健壮，作为首选

一般不用KNN，因为需要保存所有的 样本的feature，占用内存和时间去遍历 

样本量少需要 拉长时间窗口，即 再等等

一个新的结论

从这个角度说：validate data 就是 train data！！！

模型前工作

数据预处理：数据清洗与（上下采样以上的非倾斜）

特征选择

模型选择

交叉验证 选出超参数

模型选择

1. 路线图

2. 验证集 

模型优化的角度

1. 模型现在处于什么状态 

2. 找出有用 weight 的feature

3. bad case 分析

4. 模型融合 bagging or boosting

我想这个是 那个 淘宝面试官想问的问题

这才人家想问的问题

其实还是在看你的 经验

降维 LDA ，PCA  都可以视为 降维 特征选择的 嵌入式方法

正则化

决策树

深度学习

聚类也有一个重要问题

即：到底聚为几类？

知道几类，用Kmeans 

或者使用 层次聚类法

搜索的种类

完全式搜索

启发式搜索

随机搜索