|
天池技术圈上线不久，新推出的代码托管沉淀功能已经受到小伙伴们的支持啦～！
关于代码托管功能的详情，感兴趣的同志可以阅读小天的历史消息查看哦：
《【必读】天池技术圈上线！比赛答疑、项目沉淀、干货学习唯一通道！》
小天这次要给你们推荐的是IJCAI-17大赛TOP4队伍，去年获得TOP1的学霸情侣——李中杰&姚易辰，他们在今年IJCAI-17大赛的比赛思路。
（IJCAI-17口碑商家客流量预测排行榜）
Flamingo Rank4 李中杰，姚易辰 清华大学热能系，清华大学工程力学系 lizhongjie1989@163.com, yaoyichen@aliyun.com
1.赛题概述
2.外部数据及数据清洗
2.1外部数据外部数据分为机场天气数据和节假日信息两部分，均存储在additional 文件夹下，具体如下：
2.1.1 机场天气数据机场天气数据来源：https://www. 降水量：表格为PRECIP.csv 采样周期为日，爬取程序为Weather_underground_day.py。 详细天气：表格为WEATHER_raw.csv，各地采样间隔不定，最短为30min，最长为3h，爬取程序为 Weather_underground_hour.py。 降水指数和天晴指数：feature/WEATHER_CON_LEVEL.csv 中RAIN_IND及CLEAR_IND对应列。 人体舒适度指数：SSD=(1.818t+18.18)(0.88+0.002f)+(t-32)/(45-t)-3.2v+18.2 其中：温度t，湿度f，风速v 城市天气确定：通过城市经纬度计算城市到各机场距离，城市对应天气采用与之最近的机场信息。
2.1.2 节假日信息节假日信息 HOLI.csv，工作日标签为0，周末标签为1，假期标签为2。表格来源为比赛官方论坛。
2.2数据清洗数据清洗包含两部分，通过规则清除及通过模型预训练清除。
2.2.1规则清除对于单用户某小时内购买行为，采用 处理消除异常消费。 开业前7天数据不用于训练集，销量间断前后1天数据不用于训练集。 销量以历史过去14天销量的 为限制，其中 为均值， 为均方根。
2.2.2模型预训练清除：详见第三部分。对于规则难以清除的脏数据，采用预训练的方式清除。模型训练中首先采用欠拟合的算法模型预训练，并清除残差最大的10%(xgboost1,GBDT)和25%(xgboost2)的样本。
3.预测模型
我们团队解题方案的整体架构如上图所示，最终销量预测结果由未来14天常规销量预测及双11修正系数预测两步两部分组成。通过双11修正系数，分别对于2016-11-11，2016-11-12，2016-11-13三天的销量按照1.0，0.2，0.1倍的系数作乘法修正。双11修正部分训练采用xgboost单模型，特征为商家特征信息，标签为2015年双11当天的销量增量百分比。常规销量预测部分，采用基本模型有4套，分别为2套xgboost模型(特征处理及数据清洗程度不同)，GBDT模型和均值模型。对于模型训练的具体说明如下：
3.1 常规销量预测模型
3.1.1特征与标签| 特征与标签 | 说明 |
|---|
| 历史销量特征 | 过去21天的历史销量 | | 节假日特征 | 过去21天及预测14天的节假日标注 | | 天气特征 | 过去21天及预测当天附近4天(之前两天，当天，之后一天)的降水量，人体舒适度SSD值，SSD值日增量，降水指数，天晴指数 | | 商家特征 | 平均View/Pay比值，平均每天开店时间，关店时间，开店总时长；首次营业日期，非节假日销量中位数，节假日销量中位数，节假日/非节假日销量比值；商家类别，人均消费，评分，评论数，门店等级 | | 标签 | 未来14天日销量 |
3.1.2 训练方式
采用滑窗对于2000个商家生成481143条有效训练样本，清除间断前后及异常值后保留468535条样本。
采用2次训练的方法，第一次采用最大深度为3欠拟合模型进一步清洗脏数据。采用了xgboost与sklearn的GBDT模型训练，具体参数如下： XGBoost-Round_1: 第一次训练样本保留量为90% XGBoost-Round_2: 历史销量用21天销量中位数无量纲，第一次训练样本保留量为75%。
GBDT: 第一次训练样本保留量为90%。
3.2 历史均值模型
输入:过去21天的历史销量，过去三周的销量相关度矩阵。 输出：未来2周的销量及其对应在模型融合中置信度。 方法：过去21天的按工作日平均，得到按工作日平均的均值销量。通过过去三周按周统计的销量中位数及平均值，做线性拟合得到销量增量。将历史均值销量叠加销量增量即得到未来2周预测销量。 由于方法本质上寻找历史上相似的(过去三周相关度较高)销量曲线作为未来预测，本质上为均值模型与KNN方法的结合。 置信度即为融合系数，仅当三周相关系数或后两周相关系数的最小值大于0.7时有效。均值模型的融合比例最大为0.75。融合系数计算方法为： 
3.3 双11销量修正模型
特征描述：仅包含商家特征，包含平均View/Pay比值，平均每天开店时间，关店时间，开店总时长；首次营业日期，非节假日销量中位数，节假日销量中位数，节假日/非节假日销量比值；商家类别，人均消费，评分，评论数，门店等级。
双11销量增量，计算方法为2015-11-11当天销量V20151111与其前后两周对应工作日V20151028，V20151104，V20151118，V20151125的加权销量的比值,权重系数分别为0.15,0.35,0.35,0.15. 
训练方法: 采用xgboost单模型训练，由于双11当天对应的工作日不同，2015年数据并不能很好反映出2016年双11节假日情况，且超市便利店类商店存在大量的数据缺失。为防止过拟合，参数设置均较为保守，最大深度为2，且加了较大的L1正则项，具体如下: max_depth = 2, learning_rate=0.01, n_estimators=500, reg_alpha=10, gamma = 1
3.4 模型融合
1）多套gradient boosting的结果间的融合 xgboost1，xgboost2, GBDT三份结果按0.47, 0.34, 0.19 比例融合。 2）gradient boosting与均值模型融合 将均值模型结果与Step1产生GBDT的结果融合，均值模型的融合系数为通过相关度得到的置信度。 3）双11系数进行销量调制 双11当天销量乘以双11销量修正模型得到的销量增量，11-12, 11-13由于为周六周日，有理由相信其销量与11-11(周五)的表现存在相似性， 因而乘以0.2及0.1倍的销量增量系数 。
4. 精简版的特征、模型与结果由测评获得的Loss提升表格如下，按特征的重要性排序，分别为：历史销量特征，节假日特征，降水天气特征，商家特征。
5.代码说明
Step1：生成精简版本user_pay, uer_view 表格 data_new/table_regenerate.py
按小时统计商户销量，并进行用户异常刷单清理，生成精简版本的pay和view表格分别为，user_pay_new.csv 和 user_view_new.csv，文件大小减小为之前的1/10已便后续访问及特征提取。
Step2：外部数据爬取 additional/Weather_underground_day.py
从https://www. 按天读取机场所在地信息，爬取信息包含7列分别为[Port, Date, Precip , Rise_act, Rise_cil, Set_act, Set_cil]，对应内容为[机场代号，日期，降水量，真实日出时间，修正日出时间，真实日落时间，修正日落时间]。 additional/Weather_underground_hour.py
从https://www. 按小时读取机场所在地信息，爬取信息包含14列分别为[Port, Date, Time, Temp, Bodytemp, Dew, Humidity, Pressure, Visibility, Wind_dir, Wind_speed, Gust_speed, Event, Condition]，对应内容为[机场代号，日期，时间，气温，体感温度，露点，湿度，压力，能见度，风向，风速，阵风强度，气象事件，气象条件]。
Step3：特征生成 feature/ WEATHER_FEATURES.py
生成天气特征表 WEATHER_FEATURES.csv，包含四项，分别为人体舒适度SSH值，SSH值日增量，降水指数，天晴指数。 feature/ SHOP_FEATURES.py
生成商家特征表SHOP_FEATURES.csv，包含平均View/Pay比值，平均每天开店时间，关店时间，开店总时长；首次营业日期，非节假日销量中位数，节假日销量中位数，节假日/非节假日销量比值；商家类别，人均消费，评分，评论数，门店等级。 feature/ TEST_SELLS.py
生成测试集历史过去三周销量表格，修正异常销量，以历史过去14天销量的 为限制，其中 为均值， 为均方根 feature/FEATURE_MERGE.py
整合所有特征，生成方便训练模型读取的X.csv, Y.csv, Xtest.csv三个表格
Step4：常规销量模型训练 model/xgb_model1.py，model/xgb_model2.py，model/ GBDT_model.py
GBDT模型，详见3.1 model/correlation_model.py
均值模型，详见3.2
Step5：双11修正系数训练 model/ DOU11_model.py
双11修正模型，获得双11当天销量增加百分比
Step6：模型融合 model/model_blend.py
各模型融合并作双11修正生成最终提交结果
6.总结展望
1）赛题关键在于各个商店总体销量预测，需要对于历史整体趋势有很好把握。预测日期11月1日到11月14日区间，由于距离国庆假期较近，容易受到脏数据干扰，因而特征提取过程中仅采用过去三周的销量作为特征。现有的解决方案中，对于周期更长的趋势仍把握不足。
2）预测日期包含了双11，给预测增加了难度。现有方案采用2015年的商家情况预测2016年，存在着诸多不足。比如两者并不在同一个工作日，2015年缺少大量超市类数据等。可能需要通过更多的相似节假日(圣诞，七夕)挖掘商家销量规律。
3）现有方法本质上没有体现出“时间序列”这一关键因素。对于销量这一核心特征，应更多考虑在时间维度上的表现。前期曾考虑采用CNN抽取销量时间特征，后期由于精力有限放弃。
|
