1、推荐系统评价指标综述汇报人:李烽n 文献来源:朱郁筱 ,吕琳媛 . 推荐系统评价指标综述 J. 电子科技大学学报 ,2012,02:163-175.研究背景3信息过载 多种推荐算法 孰优孰劣信息 过载多种推荐算法孰 优 孰劣研究背景4Web2.0时代,每个人既是信息接收者,也是信息创造者。信息数量庞大但质量参差不齐,造成信息过载。信息过载多种推荐算法信息过滤,为满足用户需求推荐个性化推荐。协同过滤算法、基于内容的推荐算法、混合推荐算法。孰优孰劣如何有效、客观评价推荐系统的效能,从实验室到实际应用的转换。研究背景很多学者 对 推荐 评 价指 标认识 不全面,局限于精确性,忽 视 多 样 性、新
2、颖 性、覆盖率等指 标学 术 界尚未建立推荐算法 评 估完整 统 一的指 标 群,部分学者写 论 文 时 只 选择对 自己有利的指 标对 各个指 标 的 优 劣和适用性了解 较 少,在 评 价指 标的 选择 和 结 果解 释 方面存在不足评价方法6在 线评 价n 设计在线用户实验,根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现n A/B测试n 高额成本离 线 评 价n 根据待评价的推荐系统在实验数据集上的表现来衡量推荐系统的质量n 方便、经济n 数据 集的划分(常用随机划分)与评价指标的选择评价指标7 准确度 指标 基于 排序加权的 指标 覆盖率 多样性 和新颖 性预测评 分的准确度预测评 分关联分 类 准确度 排序准确度准确度指 标准确度指标预测评分的准确度衡量算法 预测 的 评 分与用 户实际评 分的 贴 近程度思路: 计 算 预测评 分和用 户 真 实评 分的差异局限 : 对 MAE指 标贡 献大的往往是那种很 难预测 准确的低分商品预测评分的准确度MSE和 RMSE指 标对 每个 绝对误 差首先做平方运算,所以 这 两个指 标对 比 较 大的 绝对误差有了更重的 惩罚