机器学习和推荐系统（三）推荐系统评测

推荐系统评测

一、 推荐系统的试验方法

1. 离线试验
2. 通过体制系统获得用户行为数据，并按照一定格式生成一个标准的数据集
3. 将数据集按照一定的规则分成训练集和测试机
4. 在训练集上训练用户兴趣模型，在测试集上进行预测
5. 通过事先定义的离线指标评测算法在测试集上的预测结果
6. 问卷调查
7. 用户调查需要有一些真是用户，让他们在需要测试的推荐系统上完成一些任务，我们需要记录他们的行为，并让他们回答一些问题，最后进行分型
8. 在线试验
9. AB试验

二、 推荐系统的评测指标

1. 预测准确度
2. 用户满意度
3. 覆盖率
4. 多样性
5. 惊喜度
6. 信任度
7. 实时性
8. 健壮性
9. 商业指标

三、 推荐准确度评测

1. 评分预测：很多网站都有让用户给物品打分的功能，如果知道用户对物品的历史评分，就乐意从中学习一个兴趣模型，从而预测用户对新物品的评分；评分预测的准确度一般用均方根误差（RMSE）或平均绝对误差（MAE）计算

1. 
   
2. Top-N推荐：网站提供推荐服务时，一般是给用户一个个性化的推荐列表，这种推荐叫做Top-N推荐；Top-N推荐准测率一般用精确率和召回率来度量

四、 准确率、 精确率、召回率