1、大数据技术与应用,目录,引言 电影点球成金,基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；,打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；,布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。,数据本质是生产资料和资产,仅供开采162年,仅供开采45年,仅供开采60年,不可再生资源VS数据,数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。,数据爆炸式增长（每分钟）,数据资产
2、管理的挑战,数据资产管理的挑战,需要不同“看”数据的方式,可视：结构化资料 15%,未视：半/非结构化数据 85%,DB/DW,主管们看的战情数位仪表板，其实是残缺的,10万 GB,10万 TB,需要更高性价比的数据计算与储存方式,数据库,数据仓库,计算更快 存储更省,9,需要不同的数据管理策略,当我们想要扩充时，才发觉：架构只能 scale-up， scale-out 不易处理时间过长， time-to-value 受限成本过高， cost-efficiency 受限,15% 结构化的 DB/DW,遗憾,残缺,每天几百 GB、 几 TB 的资料，且持续成长中,储存Storing,在收数据的同
3、时做必要的前置处理 (pre-processing)，并区分数据处理的优先等级 (prioritizing),计算Processing,如何有效的避免因硬件毁坏所导致的资料损毁,管理Managing,如何从中挖掘出所关注事件的 pattern 或 behavior,分析Analyzing,超越企业现有 IT 的数据解决能量,中央政府对大数据的重视程度,目录,二、什么是大数据,一、大数据的来源,Social Media,Machine / Sensor,DOC / Media,Web Clickstream,Apps,Call Log,Log,什么是数据？,半结构化/非结构化数据,什么是大数据？
4、,何为大？数据度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes1Z
5、B = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,什么是大数据？,红楼梦含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes1GB 约等于 671部红楼梦1TB 约等于 631,903 部1PB 约等于 647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ）中国国家图书馆：2631万册1EB = 4000倍 美国国会图书馆存
6、储的信息量600美元的硬盘就可以存储全世界所有的歌曲MGI估计,全球企业 2010 年在硬盘上存储了超过 7EB(1EB 等于 10 亿 GB)的新数据,同时,消费者在 PC 和笔记本等设备上存储了超过 6EB 新数据,数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务,什么是大数据？,大数据的解释,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。,大数据带来的思维变革,更好不是因果关系而是相关关系,更多不是随机样本而是全部数据,更杂不是精确性而是混杂性,大数据带来的思维变革（更多）,人口大普
7、查全数据模式,随机采样样本模式,大数据应用全数据模式,是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6次人口大普查；人口大普查是一种典型的全数据模式；,大数据时代,小数据时代,大数据带来的思维变革（更多）,人口大普查全数据模式,随机采样样本模式,大数据应用全数据模式,人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本
8、模式；源于实用并且很好的创新！随机采样分析是小数据时代的产物；,大数据时代,小数据时代,大数据带来的思维变革（更多）,人口大普查全数据模式,随机采样样本模式,大数据应用全数据模式,我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部；大数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的“大”是相对的相扑比赛所有数据存储还不需要一个TB，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；,大数据时代,小数据时代,大数据带来的思维变革（更多）,大数据带来的思维变革（更杂）,从皮尺到哈勃望
9、远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性；,大数据的简单算法比小数据的复杂算法更有效；IBM的机器翻译 VS Google的机器翻译；纷繁的数据越多越好；大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；混杂性，不是竭力避免，而是标准途径；,大数据带来的思维变革（更好）,Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次关于二手车的数据分析比赛中得到，橙色汽车有质量问题的可能性是其它颜色汽车的一半。为什么？探寻事物的
10、因果关系是人类的本性，但是大数据时代可以做某种程度的妥协，可以只需要关注“是什么”，而忽略“为什么？”,大数据的4V特征,Big Data大数据,TBPBEB,StreamsReal timeNear timeBatch,StructuredUnstructured Semi-structuredAll the above,大数据的4V特征（Volume）,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,大数据的4V特征（Velocity）,大数据的4V特征（Variety）,大数据的4V特征（Value）,挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的
11、信息；价值密度低，是大数据的一个典型特征；,大数据不仅仅是技术，关键是产生价值可以从各个层面进行优化，更要考虑整体,13,大数据商业价值,大数据商业价值-大数据为“未来的新石油”,2013年，世界上存储的数据预计能达到约1.2泽（约12亿TB）字节，如果把这些数据全部印刷成书，这些书可以覆盖整个美国52次，如果将之存储于标准的光盘，这些光盘可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。,大数据商业价值-企业经营决策,某商店卖牛奶，通过数据分析，知道在本店买
12、了牛奶的顾客以后常常会再去另一店买包子，人数还不少，那么这家店就可以考虑与包子店合作，或直接在店里出售包子。,大数据商业价值-个性化营销,银行与客户的交流渠道进行了整合，只要某个客户在网上点击查询了有关房贷利率的信息，系统就会提示呼叫中心在电话交流时推荐房贷产品，如果发现顾客确实对此感兴趣，销售部门就会发送推介信息给客户，如果这位顾客到银行网点办事，业务人员就会详细介绍房贷产品，开始只有少量的线索，但通过多渠道的与顾客交互接触，在这个过程中，令顾客体验了银行精准、体贴的服务，其结果是营业收入大为增加，成本大幅降低，,大数据商业价值-互联网金融的核心是大数据,互联网金融并非简单的把传统金融业务搬
13、到网上去，而是充分利用大数据来颠覆银企之间信息不对称的问题。数据是一个平台，因为数据是新产品和新商业模式的基石。推动互联网金融发展的核心正是大数据的价值。,大数据商业价值-所有互联网公司都将是大数据公司,大数据商业价值-数据列入企业资产负债表只是时间问题,用资产的要素来盘点一下什么样的数据符合资产的要求：1，从拥有和控制的角度来看，数据可以分为第一方数据、第二方数据和第三方数据。2，对于数据资产的货币计量，可以参照无形资产的计量规则。3，目前直接利用数据为企业带来经济利益的方法主要有数据租售、信息租售、数据使能三种模式。4，要实现数据的保值增值，就要从扩大数据规模，提高数据活性，提升收集运用数
14、据的能力,大数据改变生活,。,大数据对政府、金融机构、企业来说，象空气一样不可或缺！,软件是大数据的引擎,和数据中心（Data Center）一样，软件是大数据的驱动力.软件改变世界!,IBM C&P Industry,需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术,描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索,技术Hadoop，x86/MPPMap ReduceStreaming DataInfini BandEnterpriseSearch,数据分析技术,Text Analytics Engine 自然语言处理、文本情感分析、Visual D
15、ata Modeling 机器学习、聚类关联、数据模型,大数据涉及的关键技术,基于SQL语言: 面对OLAP的传统行和列,不基于SQL或map-reduce的: 由谷歌率先发起,数据流: 基于运行商数据直接生成任意图形,数据入口/汇聚,数据平台,分析,传统交付模式-单片或基于设备的解决方案,云: 能够充分利用物理设施的弹性，以实现处理快速增长数据的能力,“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”- Forrester analyst Jim Kobielus,大数据涉及的关键技术,大数据涉及的关键技术,大数据的安全威胁,大数据基础设施安全威胁,大数据存储安全威胁,隐私泄
16、露问题,数据访问安全威胁,针对大数据的高级持续性攻击,其他安全威胁,大数据挑战,目录,三、大数据的应用,一、大数据的来源,大数据业务战略,大数据建设目标,大数据架构设计,大数据实施,大数据运维,企业战略目标业务目标业务模式,大数据目标服务对象服务模式应用场景,大数据服务定义大数据信息模型大数据管理定义技术选择,容量规划安装、配置验收测试系统上线,大数据服务管理系统监控资源调度生命周期管理,服务性能管理,验证测试大数据持续改进,架构优化,技术升级,服务改进,企业大数据建设方法,逐步扩展现有架构，满足大数据要求：第 1 步：更深入地分析当前数据第 2 步：针对数据多样性和数据量进行设计第 3 步：
17、针对高数据速度设计第 4 步：发现新模式,提高,业务价值,企业大数据建设方法,信息分析,信息供应,(In-Database),数据挖掘,文本挖掘,统计分析,语义分析,空间地理分析,In-DB,MapReduce,说明性分析预测分析,报告,仪表板,用户层,最终客户,供应商,市场营销,管理人员,客户服务,业务流程,合作伙伴,应用系统,数据沙箱（Sandbox),Distributed File Systems,NoSQL,Relational,Data Streams,文档,多媒体,网络和社交媒体,机器生成,大数据处理,大数据处理&发现海量非结构化数据&流数据处理,信息发现,数据转化,存储层数据源
18、,数据仓库海量非结构化&结构化数据访问，转换和存储,分析主题库（数据集市）,Faceted Unstructured,Spatial/Relational,企业部门应用,企业大数据建设方法,目录,一、大数据的来源,四、成功案例,商品零售大数据,此事经被纽约时报报道后，塔吉特“大数据”的巨大威力轰动全美在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿?然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信息。模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜
19、；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发给顾客。,消费大数据,亚马逊 “预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利
20、文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的鼠标在某件商品上悬停的时间。,大数据+政治,在筹备过程中，奥巴马背后的数据分析团队一直在收集、存储和分析选民数据。在这次的大选中，奥巴马竞选阵营的高级助理们决定将参考这一团队所得出的数据分析结果来制定下一步的竞选方案。利用在竞选中可获得的选民行动、行为、支持偏向方面的大量数据。比如，在东海岸找到一位对女性群体具备相同号召力的名人，从而复制“克鲁尼效应”并为奥巴马筹集竞选资金。“Twitter的
21、政治指数”提供了一个衡量社会化媒体平台的用户如何评价候选人的方式。奥巴马积极的情绪指数是59，而罗姆尼的只有53,证监会大数据,回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大数据”查出的可疑账户高达300个。实际上，早在2009年，上交所曾经有过利用“大数据”设置“捕鼠器”的设想。通过建立相关的模型，设定一定的指标预警，即相关指标达到某个预警点时监控系统会自动报警。而此次在马乐案中亮相的深交所的“大数据” 监测系统，更是引起了广泛关注。深交所有几十人的监控室，设置了200多个指标用于监测估计，一旦出现股价偏离大盘走势，深交所利用大数据查探异动背后是哪些人或机构在
22、参与。,金融大数据,阿里“水文模型”是按小微企业类目、级别等分别统计一个阿里系商户的相关“水文数据”库。如过往每到某个时点，该店铺销售会进入旺季，销售额就会增长，同时每在这个时段，该客户对外投放的额度就会上升，结合这些水文数据，系统可以判断出该店铺的融资需求；结合该店铺以往资金支用数据及同类店铺资金支用数据，可以判断出该店铺的资金需求额度。,金融交易大数据,量化交易，程序化交易，高频交易是大数据应用比较多的领域。全球2/3的股票交易量是由高频交易所创造的，参与者总收益每年高达80亿美元。其中，大数据算法被用来作出交易决定。现在，大多数股权交易都是通过大数据算法进行，这些算法越来越多地开始考虑社
23、交媒体网络和新闻网站的信息来在几秒内做出买入和卖出的决定。当一个产品可以在多个交易所交易时，会形成不同的定价，在这当中，谁能够最快地捕捉到同一个产品在不同交易所之间的显著价差，谁就能捕捉到瞬间套利机会，技术成为了重要因素,制造业大数据,在摩托车生产厂商哈雷戴维森公司位于宾尼法尼亚州约克市新翻新的摩托车制造厂，软件不停的在记录着微小的制造数据，如喷漆室风扇的速度等等。当软件察觉风扇速度、温度、湿度或其它变量脱离规定数值，它就会自动调节机械。哈雷戴维森同时还使用软件，还寻找制约公司每86秒完成一台摩托车制造工作的瓶颈。最近，这家公司的管理者通过研究数据，认为安装后挡泥板的时间过长。通过调整工厂配置
24、，哈雷戴维森提高了安装该配件的速度。美国一些纺织及化工生产商，根据从不同的百货公司POS机上收集的产品销售速度信息，将原来的18周送货速度减少到3周，这对百货公司分销商来说，能以更快的速度拿到货物，减少仓储。对生产商来说，积攒的材料仓储也能减少很多。,谷歌基于每天来自全球的30 多亿条搜索指令设立了一个系统，这个系统在2009 年甲流爆发之前就开始对美国各地区进行“流感预报”，并推出了“谷歌流感趋势”服务。谷歌在这项服务的产品介绍中写道：搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。虽然并非每个搜索“流感”的人都患有流感，但谷歌发现了一些检索词条的组合并用特定的数学模型对
25、其进行分析后发现，这些分析结果与传统流感监测系统监测结果的相关性高达97%。这也就表示，谷歌公司能做出与疾控部门同样准确的传染源位置判断，并且在时间上提前了一到两周。”,医疗大数据,能源大数据,国际大石油公司一直都非常重视数据管理。如雪佛龙公司将5万台桌面系统与1800个公司站点连接，消除炼油、销售与运输“下游系统”中的重复流程和系统，每年节省5000万美元，过去4年已获得了净现值约为2亿美元的回报。准确预测太阳能和风能需要分析大量数据，包括风速、云层等气象数据。丹麦风轮机制造商维斯塔斯( Vestas Wind Systems)，通过在世界上最大的超级计算机上部署IBM大数据解决方案，得以通
26、过分析包括PB量级气象报告潮汐相位、地理空间、卫星图像等结构化及非结构化的海量数据，优化风力涡轮机布局，有效提高风力涡轮机的性能，为客户提供精确和优化的风力涡轮机配置方案不但帮助客户降低每千瓦时的成本，并且提高了客户投资回报估计的准确度，同时它将业务用户请求的响应时间从几星期缩短到几小时。,交通大数据,UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少
27、了8500万英里的物流里程，由此节约了840万加仑的汽油。,公安大数据,大数据挖掘技术的底层技术最早是英国军情六处研发用来追踪恐怖分子的技术。中国大数据的概念其实源于最早公安部抓法轮功分子。大数据筛选犯罪团伙，与锁定的罪犯乘坐同一班列车，住同一酒店的两个人可能是同伙，过去，刑侦人员要证明这一点，需要通过把不同线索拼凑起来排查疑犯。通过对越来越多数据的挖掘分析，某一片区域的犯罪率以及犯罪模式都将清晰可见。大数据可以帮助警方定位最易受到不法分子侵扰的区域，创建一张犯罪高发地区热点图和时间表。不但有利于警方精准分配警力，预防打击犯罪，也能帮助市民了解情况，提高警惕。,文化传媒大数据,与传统电视剧有别
28、，纸牌屋是一部根据“大数据”制作的作品。制作方Netflix是美国最具影响力的影视网站之一，在美国本土有约2900万的订阅用户。Netflix成功之处在于其强大的推荐系统Cinematch，该系统基于用户视频点播的基础数据如评分、播放、快进、时间、地点、终端等，储存在数据库后通过数据分析，计算出用户可能喜爱的影片，并为他提供定制化的推荐。Netflix发布的数据显示，用户在Netflix上每天产生3000多万个行为，比如暂停、回放或者快进，同时，用户每天还会给出400万个评分，以及300万次搜索请求。Netflix遂决定用这些数据来制作一部电视剧，投资过亿美元制作出纸牌屋。Netflix发现，
29、其用户中有很多人仍在点播1991年BBC经典老片纸牌屋，这些观众中许多人喜欢大卫芬奇，观众大多爱看奥斯卡得主凯文史派西的电影，由此Netflix邀请大卫芬奇为导演，凯文史派西为主演翻拍了纸牌屋这一政治题材剧。2013年2月纸牌屋上线后，用户数增加了300万，达到2920万。,航空大数据,Farecast 已经拥有惊人的约2 000 亿条飞行数据记录。用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。Farecast预测当前的机票价格在未来一段时间内会上涨还是下降。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。Farecast 票价预测的准确度已经高达75 ，使用Farecast 票价预测工具购买机票的旅客，平均每张机票可节省50 美元。,
