1、 大数据技术原理与应用 厦门大学计算机科学系 林子雨 厦门大学计算机科学系 2016年版林子雨厦门大学计算机科学系E-mail: 主页： http:/ 大数据技术原理与应用http:/ 大数据在不同领域的应用（ 2016春季学期） 大数据技术原理与应用 厦门大学计算机科学系 林子雨 课堂内容与教材对应关系说明厦门大学林子雨编著 大数据技术原理与应用 2015年 8月 1日人民邮电出版社出版发行第 1版 教材共包含 13章内容第一章 大数据概述第二章 大数据处理架构 Hadoop第三章 分布式文件系统 HDFS第四章 分布式数据库 HBase第五章 NoSQL数据库第六章 云数据库第七章 Map
2、Reduce第八章 流计算第九章 图计算第十章 数据可视化（自学）第十一章 大数据在互联网领域的应用第十二章 大数据在生物医学领域的应用（自学）第十三章 大数据的其他应用（自学）2016年新增章节（将加入到第 2版教材中）第 14章基于 Hadoop的数据仓库 Hive第 15章 Hadoop架构再探讨第 16章 Spark 大数据技术原理与应用 厦门大学计算机科学系 林子雨 课堂内容与教材对应关系说明课堂章节 对应的 大数据技术原理与应用 （第 1版）教材 章节第 1讲 -大数据概述 第 1章 -大数据概述第 2讲 -大数据处理架构 Hadoop 第 2章 -大数据处理架构 Hadoop第
3、3讲 -分布式文件系统 HDFS 第 3章 -分布式文件系统 HDFS第 4讲 -分布式数据库 HBase 第 4章 -分布式数据库 HBase第 5讲 -NoSQL数据库 第 5章 -NoSQL数据库第 6讲 -云数据库 第 6章 -云数据库第 7讲 -MapReduce 第 7章 -MapReduce第 8讲 -基于 Hadoop的数据仓库 Hive 新增第 14章，不在当前第 1版教材 中，将放 入第 2版 教材第 9讲 -Hadoop架构再探讨 新增第 15章，不在当前第 1版教材中，将放入第 2版教材第 10讲 -Spark 新增第 16章，不在当前第 1版教材中，将放入第 2版教材
4、第 11讲 -流计算 第 8章 -流计算第 12讲 -图计算 第 9章 -图计算第 13讲 -大数据 在不同领域 的应用 第 11章 -大数据在互联网领域的 应用第 12章 大数据在生物医学领域的应用部分内容第 13章 大数据在其他领域的应用部分内容备注：教材 的第 10章数据可视化、第 12章大数据在生物医学领域的应用和第 13章大数据在其他领域的应用，为自学章节，不录制视频 大数据技术原理与应用 厦门大学计算机科学系 林子雨 中国高校大数据课程公共服务平台http:/ “厦门大学数据库实验室 ”访问平台主页课程教材讲义 PPT学习指南免费提供备课指南上机习题授课视频技术资料全方位、一站式服
5、务 大数据技术原理与应用 厦门大学计算机科学系 林子雨 提纲大数据应用概览第 11章 大数据在互联网领域的应用11.1 推荐系统概述11.2 推荐算法 协同过滤11.3 协同过滤实践 电影推荐系统第 12章 大数据在生物医学领域的应用12.1 基于大数据的综合健康服务平台第 13章 大数据的其他应用13.1 大数据在物流领域中的应用本 PPT是如下教材的配套讲义：21世纪高等教育计算机规划教材 大数据技术原理与应用 概念、存储、处理、分析与应用 （ 2015年 8月第 1版）厦门大学 林子雨 编著，人民邮电出版社ISBN:978-7-115-39287-9欢迎访问 大数据技术原理与应用 教材官
6、方网站：http:/ “中国高校大数据课程公共服务平台 ”旗下子栏目 “大数据课程学生服务站 ”，为学生学习大数据课程提供全方位、一站式免费服务：http:/ 大数据技术原理与应用 厦门大学计算机科学系 林子雨 大数据应用概览 大数据技术原理与应用 厦门大学计算机科学系 林子雨 11.1 推荐系统概述 11.1.1 什么是推荐系统 11.1.2 长尾理论 11.1.3 推荐方法 11.1.4 推荐系统模型 11.1.5 推荐系统的应用 大数据技术原理与应用 厦门大学计算机科学系 林子雨 11.1.1 什么是推荐系统 互联网的飞速发展使我们进入了信息过载的时代，搜索引擎可以帮助我们查找内容，但只
7、能解决明确的需求 为了让用户从海量信息中高效地获得自己所需的信息，推荐系统应运而生。推荐系统是大数据在互联网领域的典型应用，它可以通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求 推荐系统是自动联系用户和物品的一种工具，和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，进行个性化计算。推荐系统可发现用户的兴趣点，帮助用户从海量信息中去发掘自己潜在的需求 大数据技术原理与应用 厦门大学计算机科学系 林子雨 推荐系统可以创造全新的商业和经济模式，帮助实现长尾商品的销售 “长尾 ”概念于 2004年提出，用来描述以亚马逊为代表的电子商务网站的商业和经
8、济模式 电子商务网站销售种类繁多，虽然绝大多数商品都不热门，但这些不热门的商品总数量极其庞大，所累计的总销售额将是一个可观的数字，也许会超过热门商品所带来的销售额 因此，可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额。这需要通过个性化推荐来实现11.1.2 长尾理论 大数据技术原理与应用 厦门大学计算机科学系 林子雨 热门推荐 是常用的推荐方式 ， 广泛应用于 各类网站中 ，如热门排行榜 。但 热门推荐的主要缺陷在于推荐的范围有限，所推荐的内容在一定时期内也相对固定 。无法实现长尾商品的推荐 个性化推荐可通过 推荐系统 来实现。推荐系统 通过发掘用户的行为记录，找到用户的个性化需求，发现用户潜在的消费倾向，从而将长尾商品准确地推荐给需要它的用户，进而提升销量， 实现用户与商家的双赢11.1.2 长尾理论
