1、 大数据技术原理与应用 厦门大学计算机科学系 林子雨 厦门大学计算机科学系 2016年版林子雨厦门大学计算机科学系E-mail: 主页: http:/ 11章 大数据在互联网领域的应用( PPT版本号: 2016年 1月 29日版本) 大数据技术原理与应用http:/ PPT的厦大校徽和底部文字 大数据技术原理与应用 厦门大学计算机科学系 林子雨 提纲11.1 推荐系统概述11.2 推荐算法 协同过滤11.3 协同过滤实践 电影推荐系统欢迎访问 大数据技术原理与应用 教材官方网站:http:/ PPT是如下教材的配套讲义:21世纪高等教育计算机规划教材 大数据技术原理与应用 概念、存储、处理、
2、分析与应用 ( 2015年 6月第 1版)厦门大学 林子雨 编著,人民邮电出版社ISBN:978-7-115-39287-9 大数据技术原理与应用 厦门大学计算机科学系 林子雨 11.1 推荐系统概述 11.1.1 什么是推荐系统 11.1.2 长尾理论 11.1.3 推荐方法 11.1.4 推荐系统模型 11.1.5 推荐系统的应用 大数据技术原理与应用 厦门大学计算机科学系 林子雨 11.1.1 什么是推荐系统 互联网的飞速发展使我们进入了信息过载的时代,搜索引擎可以帮助我们查找内容,但只能解决明确的需求 为了让用户从海量信息中高效地获得自己所需的信息,推荐系统应运而生。推荐系统是大数据在
3、互联网领域的典型应用,它可以通过分析用户的历史记录来了解用户的喜好,从而主动为用户推荐其感兴趣的信息,满足用户的个性化推荐需求 大数据技术原理与应用 厦门大学计算机科学系 林子雨 “长尾 ”概念于 2004年提出,用来描述以亚马逊为代表的电子商务网站的商业和经济模式 电子商务网站销售种类繁多,虽然绝大多数商品都不热门,但这些不热门的商品总数量极其庞大,所累计的总销售额将是一个可观的数字,也许会超过热门商品所带来的销售额 因此,可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额。这需要通过个性化推荐来实现11.1.2 长尾理论 大数据技术原理与应用 厦门大学计算机科学系 林子雨 热门推荐
4、是常用的推荐方式 , 广泛应用于 各类网站中 ,如 热门排行榜。但 热门推荐的主要缺陷在于推荐的范围有限,所推荐的内容在一定时期内也相对固定 个性化推荐可通过 推荐系统 来实现。推荐系统 通过发掘用户的行为记录,找到用户的个性化需求,发现用户潜在的消费倾向,从而将长尾商品准确地推荐给需要它的用户, 进而提升销量, 实现用户与商家的双赢11.1.2 长尾理论 大数据技术原理与应用 厦门大学计算机科学系 林子雨 推荐系统的本质是建立用户与物品的联系,根据推荐算法的不同,推荐方法包括如下几类 : 专家推荐:人工推荐,由资深的专业人士来进行物品的筛选和推荐,需要较多的人力成本 基于统计的推荐:基于统
5、计信息的推荐(如热门推荐),易于实现,但对用户个性化偏好的描述能力较弱 基于内容的推荐:通过机器学习的方法去描述内容的特征,并基于内容的特征来发现与之相似的内容 协同过滤推荐:应用最早和最为成功的 推荐方法 之一 , 利用 与 目标用户 相似的 用户 已有的 商品评价信息,来预测目标用户对特定商品的喜好程度 混合推荐: 结合 多种推荐算法 来提升推荐效果11.1.3 推荐方法 大数据技术原理与应用 厦门大学计算机科学系 林子雨 一个完整的推荐系统通常包括 3个组成模块:用户建模模块、推荐对象建模模块、推荐算法模块 : 用户建模模块: 对用户进行建模,根据用户行为数据和用户属性数据来分析用户的
6、兴趣和需求 推荐对象建模模块:根据对象数据对推荐对象进行建模 推荐算法模块: 基于用户特征和物品特征,采用推荐算法计算得到用户可能感兴趣的对象 ,并 根据推荐场景对推荐结果进行 一定 调整,将推荐结果 最终 展示给用户11.1.4 推荐系统模型图 11-1 推荐系统基本架构 大数据技术原理与应用 厦门大学计算机科学系 林子雨 目前在推荐系统已广泛应用于电子商务、在线视频、在线音乐、社交网络等各类网站和应用中 如亚马逊网站利用用户的浏览历史记录来为用户推荐商品,推荐的主要是用户未浏览过,但可能感兴趣、有潜在购买可能性的商品11.1.5 推荐系统的应用图 11-2 亚马逊网站根据用户的浏览记录来推荐商品 大数据技术原理与应用 厦门大学计算机科学系 林子雨 推荐系统在在线音乐应用中也逐渐发挥作用。音乐相比于电影数量更为庞大,个人口味偏向也更为明显,仅依靠热门推荐是远远不够的 虾米音乐网根据用户的音乐收藏记录来分析用户的音乐偏好,以进行推荐。例如,推荐同一风格的歌曲,或是推荐同一歌手的其他歌曲11.1.5 推荐系统的应用图 11-3 虾米音乐网根据用户的音乐收藏来推荐歌曲