1、大数据的处理和分析计算机科学导论第十讲计算机科学技术学院陈意云0551-63607043, http:/ 程 内 容 课程内容围绕学科理论体系中的模型理论 , 程序理论和计算理论1. 模型理论关心的问题给定模型 M，哪些问题可以由模型 M解决；如何比较模型的表达能力2. 程序理论关心的问题 给定模型 M，如何用模型 M解决问题 包括程序设计范型、程序设计语言、程序设计、形式语义、类型论、程序验证、程序分析等3. 计算理论关心的问题给定模型 M和一类问题 , 解决该类问题需多少资源 2本次讲座与这些内容关系不大讲 座 提 纲 大数据的魅力 数据挖掘、大数据、大数据案例、大数据的特点 大数据时代的
2、思维变革 样本和全体、精确性和混杂性、因果关系和相关关系 大数据的处理 几种主要处理方式、 MapReduce编程模型 大数据 的 分析 关键技术概述、 PageRank初步3 数据挖掘 数据挖掘的定义1. 从数据中提取出隐含的 、 过去未知的 、 有价值的潜在信息2. 从大量数据或者数据库中提取有用信息的科学 相关概念：知识发现1. 数据挖掘是知识发现过程中的一步2. 粗略看：数据预处理 数据挖掘 数据后处理预处理 : 将未加工输入数据转换为适合处理的形式后处理 : 如可视化 , 便于从不同视角探查挖掘结果大数据的魅力4 数据挖掘 典型事例：购物篮分析顾客 一次购买商品1 面包、黄油、尿布、
3、牛奶2 咖啡、糖、小甜饼、鲑鱼3 面包、黄油、咖啡、尿布、牛奶、鸡蛋4 面包、黄油、鲑鱼、鸡5 鸡蛋、面包、黄油6 鲑鱼、尿布、牛奶7 面包、茶叶、糖、鸡蛋8 咖啡、糖、鸡、鸡蛋9 面包、尿布、牛奶、盐10 茶叶、鸡蛋、小甜饼、尿布、牛奶大数据的魅力5 数据挖掘 典型事例：购物篮分析顾客 一次购买商品1 面包、黄油、 尿布 、 牛奶2 咖啡、糖、小甜饼、鲑鱼3 面包、黄油、咖啡、 尿布 、 牛奶 、鸡蛋4 面包、黄油、鲑鱼、鸡5 鸡蛋、面包、黄油6 鲑鱼、 尿布 、 牛奶7 面包、茶叶、糖、鸡蛋8 咖啡、糖、鸡、鸡蛋9 面包、 尿布 、 牛奶 、盐10 茶叶、鸡蛋、小甜饼、 尿布 、 牛奶经关
4、联分析，可发现顾客经常同时购买的商品：尿布 牛奶大数据的魅力6 大数据 大数据 ， 或 称 海量数据 ， 指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息 例如： Google每天有来自全球 30亿条搜索指令 每天都有成千上万的人通过 Google搜索信息，从 出游的路线和耗时、 治疗 某种疾病的方法和某研究方向的最新学术资料 ，各式各样的 搜索要求都有 这 样的搜索引擎 无疑极大 地 方便了人们的 生活和工作大数据的魅力7 大数据 大数据 ， 或 称 海量数据 ， 指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、
5、并整理成为人类所能解读的信息 这一系列搜索数据从侧面显示出搜索这些信息的人 的 本身情况，比如他们的想法、需求、忧虑等非常有价值的信息 如果这些搜索 数据能 准确 地 反映人们的 生活和工作状况 ，那么就有可能利用这些信息 来察觉商业趋势、避免疾病扩散、打击犯罪 、 测定实时交通路况 和 预测选举结果 等大数据的魅力8 大数据 大数据 ， 或 称 海量数据 ， 指所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息 与小数据集的比较：在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合并后进行大数据 分析可得出许多额外的信息和数据关 联 性 这正是大型数据集盛行的原因 数据挖掘 则是探讨用以解析大数据的方法大数据的魅力9 大数据案例 谷歌预测冬季流感的传播 2008年 11月谷歌 公司 启动 “谷歌流感趋势 ”(Google Flu Trends, GFT) 项目 GFT项目把 5000万个美国人最频繁检索的词项与美国疾病预防控制中心告知的 2003年 2008年季节性流感传播期间的数据进行比较，以确定相关检索词项 为测试这些检索词项的使用频率与流感在时间和空间上传播之间的联系， GFT共处理了 4.5亿个不同的数学模型大数据的魅力10
