1、数据挖掘与大数据技术应用1目录一、大数据的来源二 、什么是大数据四、大数据的应用五、成功案例三、大数据的关键性技术2引言 电影 点球成金 基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找 “ 性价比 ” 最高球员，运用数据取得成功；2011年布 拉德 皮特主演的 点球成金 是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。 3数据本质是生产资料和资产仅供开采 162年仅供开采 45年 仅供开采 60年不可再生资源 VS数据过去 3年数据总量被以
2、往 4万年还多2013年 ,10分钟的信息总量将达 1.8ZB2010年全球数据总量 1.2ZB，年增长 50%数据不再是社会生产的 “ 副产物 ” ，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。4数据爆炸式增长（每分钟 ）Twitter上发布 98000+新微博13000+个iPhone应用下载Skype上37万 +分钟的语音通话上传 6600张新照片到flickr发出 1.68亿 +条 EmailYouTube上上传 600+新视频淘宝光棍节10680+个新订单Facebook上更新 69.5万 +条新状态12306出票1840+张5数据资产管理的挑战6数据资产
3、管理的挑战7需要 不同 “ 看 ” 数据的方式7可视：结构化资料 15%未视：半 /非结构化数据 85%DB/DW主管们看的战情数位仪表板，其实是残缺的810万GB10万TB需要更高性价比的数据计算与储存方式8数据库 数据仓库计算更快 存储更省985%半 /非结构化的Log / Web page / Email / PDF / Image / Full-text / MS-Office file 9需要 不同的数据管理策略当我们想要扩充时，才发觉： 架构只能 scale-up，scale-out 不易 处理时间过长，time-to-value 受限 成本过高，cost-efficiency 受 限15% 结构化的 DB/DW遗憾残缺
