科技创新信息化趋势讲稿.ppt

1、关于新形势下以信息化助力科技创新的若干思考,国家信息中心 宁家骏2014年9月19日,提纲,新技术、新背景信息化与大数据科技创新离不开信息化支撑小结,2018/8/2,当今时代步入了一个信息化助力社会全方位创新的重要时期,当今时代，人类社会步入了一个科技创新不断涌现的重要时期，新科技革命及其带来的科学技术的重大发现发明和广泛应用，推动世界范围内生产力、生产方式、生活方式和经济社会发展观发生了前所未有的深刻变革，进入21世纪，世界新科技革命发展的势头更加迅猛，正孕育着新的重大突破。其中信息科技将进一步成为推动经济增长和知识传播应用进程的重要引擎，基础研究的重大突破将进一步为人类认知客观规律、推动

2、技术和经济发展展现新的前景。云计算、大数据、社交网络已经成为炙手可热的热点,新一代ICT技术成为新驱动力,4,IOT M2M,APPs,Big Data Cloud,信息技术已深度融入各领域,数字医疗,电子商务,现代物流,智能交通,智能家居,信息化战争,未来10 多年最具经济影响性的技术,麦肯锡认为，未来 10 多年最具经济影响性的技术应该是那些已经取得良好进展的技术如已经在发达国家普及并在新兴国家蓬勃发展的移动互联网；知识工作的自动化，比方说用计算机语音来处理大部分的客户电话；物联网，比方说将传感器嵌入物理实体中用来监控产品在工厂的流动；以及云计算。按照麦肯锡的估算，到 2025 年，这些技

3、术对全球经济的价值贡献均超过 15 万亿美元,大数据应用的基础环境移动互联网,价格不断下降能力不断增强的移动计算设备和互联网连接，是大数据应用的基础环境保障到 2025 年的影响力：经济：3.710.8 万亿美元，例如生活：远程健康监视可令治疗成本下降 20%主要技术包括：无线技术、小型、低成本计算及存储设备、先进显示技术、自然人机接口、先进廉价的电池关键应用包括：服务模式与服务交付便捷化员工生产力提升大数据传输能力成为可能移动互联网设备使用带来的信息消费大幅增加,可执行知识工作任务的智能系统,到 2025 年的影响力：经济：5.26.7 万亿美元生活：相当于增加 1.11.4 亿全职劳动力主

4、要技术包括：大数据：人工智能、机器学习、自然人机接口关键应用包括：教育行业的智能学习、医疗保健的诊断与药物发现法律领域的合同、 专利金融领域的投资与会计政府治理现代化,物联网促进了大数据采集,物联网将成为用于数据采集、监控、决策制定及流程优化的廉价传感器网络到 2025 年的影响力：经济：2.76.2 万亿美元，对制造、医保、采矿运营成本的节省最高可达 36 万亿美元主要技术包括：先进、低价的传感器、无线及近场通讯设备（如 RFID）先进显示技术、自然人机接口先进、廉价的电池关键应用包括：大数据采集：自然资源的有效利用（智能水表、智能电表）流程优化（尤其在制造业与物流业）远程医疗服务、传感器增

5、强型商业模式,新的计算模式进一步趋向融合,新型计算模式-SO LO MO COSO 社交LO 位置服务MO 移动CO 商业,新时代信息化模式更加多样化,信息技术应用发展趋势,近期热点领域,移动互联网,互联网应用,物联网,内容与文化产业,智能终端 应用与内容,感知设备 应用集成,社会文化 云计算,内容创意 文化运营,信息产业面临深刻变革，更大的市场空间正在孕育,创新发展战略性新兴产业,世界范围内的新一轮科技革命和产业革命的“萌芽期”。本轮新兴产业的发展，将引发世界经济格局的重大调整。蒸汽机的发明导致工业革命的出现，奠定了英国19世纪头号经济强国的地位；化工等技术的进步带来近代重化工业的发展，推动

6、了德国20世纪初的崛起；半导体和网络技术的先后突破引发信息技术革命，确立并保持了美国自二战以来的领先优势。,“中国创造” 的两大元素：需求与积累,“中国制造”三十年的积累，从市场份额领先向技术创新领先演变。创业板5%左右的公司多项技术、产品居世界一流水平。中小企业、民营企业成为研发主力，产业的自然演变与国际竞争的“倒逼”,技术创新正迈向“起飞”阶段,信息技术继续快速发展，技术体系更趋完善,20,1、处理、传输、存储技术延续高速发展2、感知、显示、获取技术驶入快车道3、内容处理、智能系统技术不断成熟4、技术体系不断完善,处理存储技术：20年内提升3个数量级,2018/8/2,处理/存储,集成度，

7、从当前的32/28nm，快步前进到14/16nm及以下,更加深入的融合：三网、固移，工作网、物联网、互联网,高性能，超级计算机、汇聚计算资源能力,高性能，一些重要的应用，需要继续沿摩尔定律提升3个以上数量级,处理能力的集成，更加复杂的存储与处理系统,更加复杂和智能化的应用，需要寻找新的技术,显示反应技术：走向智能,显示/反应,生物/光磁转换,声音/文字转换,表情,语言,3D及多维,控制技术,机器人,文字,与感知、网络能力并行的反应、行动能力，在不同空间范围信息系统的物理行为无需人来执行,虚拟现实虚实结合的现实,三维空间精确行为,清晰色彩轻便,节能适应可靠,打印机、复印机、传真机、扫描仪,云计算

8、是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。,百度百科,简单定义,云是网络、互联网的一种比喻说法。云计算就是把很多的计算资源看做成云，根据不同的需要进行调用或租用,云计算成为战略性新兴产业发展的重点领域,云计算发展背景,21 世纪以来，云计算逐渐兴起。云计算的理念和模式满足了当下 IT 服务提供者和服务使用者的主要需求。对于服务提供者，云计算满足了其对 IT 资源的高效管理需求，并利于其开拓新的业务和商业模式；对于服务使用者，可以按需获取 IT 资源，节省开支、降低企业运行成本。驱动力量：需求驱动：移动互联网和物联网应用的兴起，海量信息

9、处理的需求激增；现代应用的普适化、智能化列要求。技术驱动：宽带通信、分布式计算的快速发展，推动了虚拟化和分布式处理技术的发展。经济与环境保护驱动：由于云计算具有低成本、高效能、绿色环保等特点，因而受到各国政府的重视。,发展云计算产业的技术背景,技术进步集约化需要服务需要用户体验需要,云计算改变信息产业发展格局，改变生产生活方式,今天云计算已从纸上蓝图发展成为实实在在的大产业，革命性的将大数据、大宽带、大平台、大服务捆绑在一起，孕育着广阔的产业变革，深刻改变着信息产业发展格局和我们的生产生活方式。具体表现在三个方面：产业发展领域：云计算加速了产业优化升级步伐，越来越多的企业通过大规模部署云计算在

10、推动战略性变革，实现更精准的决策和更深入的协作方面获得企业核心竞争优势。借助互联网、云计算技术，实现多业态融合，成为产业结构调整升级新方向，极大的促进中小企业创新创业和全社会信息化水平提升。公共服务领域：云计算提升了服务水平和管理效率。随着云计算和大数据技术在智慧城市建设、社区精细管理、疾病预防和治疗、食品药品安全监管、环境污染监测等领域的逐渐应用，社会管理效率、公共服务水平和人民幸福感将得到极大的提升。个人生活领域：云计算使工作更加高效，生活更加快乐。随着云计算、大数据时代的到来，云办公、云笔记、云视频、云记帐等被广泛应用，可穿戴设备随时关注着我们的健康。基于大数据的反馈经济，让我们生活的更

11、加便捷。,新的需求呼唤云计算,降低投资和运营成本简化应用部署和管理应用系统和基础设施更加灵活的互相适应方便的将应用扩展到网络环境经济有效地处理高峰期处理注重新功能开发，而非基础设施,28,必须重新审视发展云计算的战略定位,信息化的性质：技术应用VS变革转型业务自动化VS业务联动和整合网络建设VS信息资源共享通过云计算促进信息化发展转型的战略意义：促进业务转变的助推力造就高效业务的赋能器不仅限技术应用，需要其他改革措施同步推进,据IDC报告全球信息量年平均新增在60%以上，全球信息总量呈膨胀式发展。传统的计算能力无法满足其需求。急需创新性的技术和新的运营模式的出现。,29,数据来源：南加州大学（

12、USC)2011年2月研究报告、国际数据公司IDC调研报告。,云计算已经成为信息产业的新革命,创新性的技术和新的运营模式的云计算，将是继互联网革命之后的第三次信息革命。,30,云技术将信息产业作为集约型产业使IT设施将成为一种公共服务企业和公众从传统的购买设备到购买服务,虚拟化技术分布式计算技术,云计算已经成为信息产业的新革命,数据来源：Gartner评估分析报告,31,来源：Forrester Research报告。,云计算开启信息行业的“产业革命”,云计算已经成为信息产业的新革命,“旧时王谢堂前燕，飞入寻常百姓家”,曾经被视为小众的云计算，正式成为市场的主流，传统的重量级厂商纷纷投靠唯恐落

13、后；曾经处庙堂之高的云计算，已然走下神坛，大量的小厂商和产品如雨后春笋；曾经遥不可及的云计算，已经来到身边，深刻地影响着国内广大的公司和开发人员。行云流水间吉光片羽，除了不胜唏嘘之外，更令人深思和激动。去年12月18日，Amazon宣布推出中国区域云计算服务，取道宁夏而屯兵北京。“银瓶乍破水浆迸”，消息传出，阿里云推出“12.18新起点再起航”部分免单活动，全线产品降价；IBM宣布与世纪互联合作将其云计算基础架构服务SCE+（SmartCloud Enterprise+）正式引入中国；微软也正式宣布联想成为中国首家微软Cloud OS战略合作伙伴；腾讯云的年终大促也拉开大幕一时间山雨欲来，溪云

14、压城。 过去一年中国内云计算界在淘宝的带领下也掀起了对“巨人的进击”淘宝在2005年以蚂蚁大军击败eBay大象，如今“蚂蚁缠斗大象”一幕似乎将在IT基础设施的领域再一次上演。Intel等厂商也纷纷进入开源云社区，或以产品、或以资助、或以资源等方式试图在廉价云计算市场占得先机,并在云计算、大数据和穿戴式设备领域取得了突破。,三十年河东，三十年河西,在过去的一年中，开源社区和中小型厂商迎来了属于它们的机会。我们不仅看到了基于容器的虚拟化技术的兴起，也看到诸多新鲜血液加入到云计算的市场腾讯基于LXC推出游戏云，为QQ游戏提供更弹性的资源配给和资源隔离服务。2013年8月金山云宣布2000万美元的融资

15、，接着上海的UCloud宣布获得1000万美元的A轮投资。最近，想做中国AWS的QingCloud又在2014年元旦之际宣布2000万美元的B轮融资。风投资本再一次投出了自己的一票，用赤裸裸的金钱证明了他们对于国内云计算市场的看好。 除了针对基础设施的厂商，他们结合底层的各种Hypervisor和Container将面向IT的服务固化到他们的云平台之中。与之对应的是，传统意义上位于运维上层、离一线运维人员更近的配置管理、任务编排、日志监控以及日常运维等领域也是英雄迭起、精彩纷呈。云计算通过虚拟化和标准化，将精通运维的团队与个人的生产力池化而后量化、再服务化，使得大量的非运维人员可以以很低的价格

16、享受优质而有SLA保障的运维服务。因此，云计算可以算得上是技术挑战商业的又一次成功案例,当前云计算技术发展新趋势,结合云计算核心软件和支撑平台的技术需求，研究混合云管理、云端和终端资源的自适应协同与融合云计算应用服务开发环境新的体系架构，新的应用开发模式,新的在线交付模式、动态调度与一键式部署模式、服务质量保障体系以及多PaaS平台的迁移技术，支持海量用户的同时开发活动，进一步提升应用高并发运行与管理应用的能力,当前云计算技术发展新趋势,结合云计算核心软件和支撑平台的技术需求，研究混合云管理、云端和终端资源的自适应协同与融合云计算应用服务开发环境新的体系架构，新的应用开发模式,新的在线交付模式

17、、动态调度与一键式部署模式、服务质量保障体系以及多PaaS平台的迁移技术，支持海量用户的同时开发活动，进一步提升应用高并发运行与管理应用的能力,. 云计算产业链,云计算产业生态链是以云服务提供商和网络提供商为核心，包括硬件提供商、平台提供商、应用开发商、方案提供商、系统集成商、终端提供商、运维提供商等主要角色。,桌面云与云终端产业,“桌面云”是指利用虚拟化技术实现基础设施、桌面、应用等资源的共享，并对其进行集中部署和管理，在数据中心统一托管以服务方式交付桌面的云系统。基于桌面云平台，能实现通过任何设备，在任何地点，任何时间访问网络上的个人桌面系统。其实质是 PC计算环境的松耦合化，通过共享实现

18、集中管理和低成本。,云运维支持服务业,云安全服务产业：安全问题的解决是关系到云服务能否得到用户认可的关键要素，云安全也是阻碍当前云计算应用的主要障碍之一。云安全从性质上可以分为两大类，一类是用户的数据隐私保护，一类为针对传统互联网和硬件设备的安全。云安全技术可以从以下几个维度来进行思考：(1)数据安全：现阶段，云中数据安全防护技术主要有：增强加密技术、密钥管理、数据隔离、数据残留。(2)虚拟化安全：由于虚拟化技术的引入，云环境中涉及到虚拟化软件安全和虚拟服务器安全两个问题。安全的云计算环境需要用户与云服务提供商共同来维护。(3)终端安全：目前可以从终端安全基础设施、终端硬件芯片可信技术、操作系

19、统安全机制、终端应用安全更新机制四个方面进行终端安全防护。(4)应用安全：由于云环境的灵活性、开放性以及公众可用性等特性，给应用安全带来了很大挑战。云服务提供商在部署应用程序时应当充分考虑将来可能引发的安全风险。,云运维支持服务业,云运维管理：云计算运维管理应提供如下功能：（1）自服务门户 （2）身份与访问管理（3）服务目录管理 （4）服务规则管理（5）资源调度管理 （6）资源监控管理（7）服务合规审计 （8）服务运营监控（9）服务计量管理 （10）服务质量管理（11）服务交付管理 （12）报表管理（13）系统管理 （14）4A管理（15）管理集成 （16）管理门户云管理的最终目标是实现 IT

20、能力的服务化供应，并实现云计算的各种特性：资源共享、自动化、按使用付费、自服务、可扩展等,云计算促进我国信息化进一步发展,国家一直以来致力于云计算产业的发展，从2011年起相关部门在北京、上海、深圳、杭州和无锡等五个云计算的试点城市，实施云计算示范工程。一是支持信息技术服务的骨干企业，加强数据存储技术、虚拟化技术、海量数据处理技术、大规模数据中心管理技术等云计算关键技术和重点产品的研发和应用。二是建设大型的公共云计算的平台，不断丰富云计算服务的业务类型，提高云计算数据中心的使用率，引导云计算实现产业链各环节的协同发展。三市在积极开展云计算综合标准化工作，在梳理现有各类信息技术标准的基础上制定新

21、的标准，修订已有的标准，建设形成同时满足行业管理和用户需求的云计算的标准体系,发展云计算必须重视核心价值提升,产业生态建设和产值拉动效应例如IBM联合了包括超图软件、Amazon、Juniper Networks等ISV和SI作为其合作伙伴推广云计算，并参与多个地方政府的云计算服务平台建设。 IBM由于自身拥有从基础硬件到软件和服务的全系列产品，往往可以单独为用户提供全套的云计算解决方案。 重视云服务运营经验和行业典型成功案例引领示范效应,发展云计算必须重视云计算战略谋划,评估是否适用云计算技术成立有领导参与的云计算实施团队确定使用云计算的方式,发展云计算关键在于推进应用,无论是中小企业还是大

22、型企业或政府机构，都可以应用云计算平台，不同的是建设私有云还是使用公共云计算服务提供商提供的服务。如果企业自身的业务生态环境需要更多的用户（如企业的供应商、客户等）来共用一套基础架构平台，那么云计算平台会比传统方式更为适合。而对于企业的业务系统来说，新建的、标准的应用应用在云计算平台比改造和迁移原有的系统更加简单。从硬件平台的工作负载来说，如果 IT 系统的工作负载起伏较大，高峰和低谷时对平台的要求不同，使用弹性较好的云计算平台可以节省更多的成本。从数据信息角度来讲，开放的公共信息更适合放在云平台上。而网络方面，如果企业的网络带宽有限，使用云计算将面临网络传输瓶颈，云计算更适合带宽充分的环境。

23、 。,发展云计算关键在于推进应用,在确定适合使用云计算之后，企业用户需要确定以哪种方式使用云计算服务。企业既可以建设自己的私有云计算平台，也可以使用第三方的公共云计算服务，甚至可以成为公共云服务的提供商，为其他企业提供公共云服务。中小企业会比较青睐使用第三方的公共云计算服务。公共云计算服务可以帮助这些企业节省 IT 系统的投入。这样，中小企业可以通过使用公共云计算服务，以较小的投入获得稳定的 IT 平台，并且可以在业务发展迅速时利用云平台的灵活性快速地扩展。大型企业一般都会建设自己私有云及数据中心，而不是使用公共云计算服务。因为他们对系统可靠性、数据安全性等方面的要求更高。他们建设云计算平台是

24、为了优化自己的IT基础架构，更好的支撑业务。,发展云服务必须提供优质一体化解决方案,目前市场上已经有快速部署的云计算平台解决方案产品出现。这类产品将虚拟化软件和自动化管理软件预装到硬件平台上，并且已经做好了相应的配置工作。这使得整个云计算平台对用户来说形成了一个黑盒子。用户无需进行复杂的安装和配置工作，基本达到开箱即用的程度，所有的平台功能都已经集成到这个一体化的设备中，用户只需要在该平台上部署自己的应用。但现在符合中国国情的这一类产品还不多。,发展云服务必须重视应用部署,在完成云计算平台的建设后，企业应考虑将业务应用逐步部署到云计算平台上。需指出的是将业务应用过渡到云计算平台上并不是一夜之间

25、就可以实现的。事实上，不是每项业务应用都应该立刻列为迁移到云计算平台上的候选。从目前云计算的发展来看，不是每项业务应用在云计算平台上都能有很好的效果。如云计算平台对于一个工作负载在各个时间非常平均的应用来说，并不能体现出足够的优势。企业用户需要对应用进行评定，将这些业务应用逐步迁移到云计算平台 另外，对于一个刚刚建好云计算平台的新手来说，采用哪种策略和配置来部署应用是一个更为重要、也更为棘手的问题。IDC 建议，企业用户应更多的学习和观察云计算的成功案例，考察与自身应用类似的应用程序如何在云计算环境中运行，从而设计自身的应用部署策略。用户也可以寻找一些在云计算平台实施方面有较深经验的供应商作为

26、合作伙伴，避免在应用部署时走弯路。,云计算成为战略性新兴产业发展的重点领域,我国已将云计算作为战略性新兴产业发展的一个重点领域。近年来云计算产业的发展也很迅速，技术和应用的创新都很活跃，商业的模式也在逐渐形成。其便捷、高效、集约的优势日趋明显。推动了软件和信息服务业的服务化进程。但是,也要看到相对于发达国家，我国云计算的发展水平总体还不高，还需要进一步优化云计算发展环境，健全法律法规体系，统筹规划，优化数据中心建设和布局，加强核心技术攻关，促进云服务创新发展等方面做好相关工作,48,发展云计算有助于实现国家信息化发展战略略目标,促进一个转变：经济增长方式根本转变,实现两个跨越：信息技术跨越式发

27、展；产业跨越式发展,提升三个水平：网络普及水平；信息资源开发利用水平；信息安全保障水平,增强四个能力：政府公共服务能力；先进文化传播能力；军事变革能力；国民信息技术应用能力,云计算产业发展孕育着更大的空间,随着多元化的发展，思想文化的交流，社会也变得越来越无序。所以我们更需要借助云计算、大数据等新一代信息技术手段，面向未来，构建我们的现代市场体系，宏观调控体系，开放型经济体系等等。这都给云计算产业的发展孕育提供了更大的空间。据预测2014年云服务暨相关技术支出将达到一千亿元以上。2015年云计算产业将会带来1400万个工作岗位，其中约有一千万个在中国。2014年全球大数据技术服务支出将超过14

28、0亿美元。2018年市场年均复合增长率将达26%，支出增至460亿美元。,云计算发展还有相当的距离,云计算、太阳能利用、人工智能等十大技术在未来十年中将彻底改变我们的世界。并预测，到2020年，三分之一的数据都将存储在云上或通过云进行存储。全球云服务利润每年将增长20%，到2014年，在创新和云计算方面的IT支出将达到1万亿美元。距离这一目标我们还有相当的距离,当前要重点突破、跨越式发展、攀登世界先进水平、提供技术基础、形成新的产业生长点推进云计算应用、全面提升利用云平台改进信息感知、信息传输、信息处理和提升云安全保障的能力,网络经济和信息化推进新形势的发展要求我们必须进一步提高对我国重要信息

29、系统利用云计算改造升级及其信息安全保障的重视程度 经济转型和产业升级以及提高效益确保安全要求我们建设云平台发展云应用必须加快进度信息化建设的积累和我国社会经济发展对重要信息系统的高度依赖型，也要求我们必须加快重要信息系统利用云计算和发展相关产业的统筹规划和实施推进,新形势对云计算产业发展提出更高的要求,提纲,新技术、新背景信息化与大数据科技创新离不开信息化支撑小结,大数据是在信息化进程中自然形成的宝贵资源,大数据是指具有数量巨大、多类型、不同结构化程度、不均衡价值密度、不一致动态特征、不同应用处理特征等特点信息集合。大数据系统是指一个围绕特定目的而形成的数据及其处理系统。并不是每一个大数据系统

30、的信息集合都具有上述全部特征，一种或两种类型，数量巨大，也是大数据。,在计算机处理能力不断发展、信息系统处理的信息日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，大数据概念应运而生,在这里，大数据和信息、信息资源是同义词,大数据产生的背景,数据的爆发式增长和社会化趋势，新摩尔定律大数据已经成为一种基础资源万联网产生了日益重要的数据万联网-intenet of everythings互联网、物联网、工业互联网等大数据不被利用就是成本浪费,大数据的4V特性,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长总数据量的8

31、090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍,大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义,大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效,大数据：数量大,YB:2的80次方，ZB的1000倍,ZB:2的70次方，EB的1000倍,EB:2的60次方，PB的1000倍,PB:2的50次方，TB的1000倍,TB:2的40次方，GB的1000倍,GB:2的30次方，MB的1000倍,绝大部分

32、应用在这两个数量级,二是类型多,结构特征：结构化、半结构化、非结构化,拥有特征：私有、共有、公开,形态特征：语音、文本、数值、图像、视频,大数据：类型多,大数据 更接近把握信息资源的本质,大数据真正开始把信息变成资源有的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的相似之处研究大数据，首先要研究各种有用的信息在何处，就是找矿其次是把满足特定需求的信息收集过来，就是开矿第三是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、聚丙烯第四是将这样的信息与具体的应用结合，使之发挥作用，这就是基于大数据的应用系统

33、，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。,大数据最有价值的是开辟了崭新的业务模式,大数据最大的价值是开辟了崭新的业务模式，就是数据化、智能化、互联网化。要掌握这样一种新的工具，就要以大数据为基础看待处理和运用数据的方式，这跟过去小数据的集合迥然不同第一，大数据强调全数据的观念，而非小数据的随机抽样。小数据，只要记住关键信息就行，大数据需要采集全部信息。第二，小数据强调精准，大数据强调大势的把握和概率第三，小数据关注因和果，大数据则关注关联。物联网、传感器、机器人、三维打印、可穿戴设备，所有这些新兴热门技术的背后，都有大数据的支撑

34、。大数据时代对生产关系的构建，不亚于人们从农业时代向工业时代的迁徙。,我们每个人都在制造和使用信息,每秒发出290万条短信每天Twitter上发布5000万条微博每天Google处理的数据24PB2012年11月11日第一秒，用户向阿里网购提出1千万请求全球新增网页571个,过去3年数据量比以往数万年还多2020年数据产出量将比2009年的44倍还多2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍,信息技术为大数据应用开辟了前进道路,信息技术进展是大数据产生和发展的外在动力传感技术：大数据的主要来源存储技术：不仅数据量大，而且要有信息

35、存储模式传输技术：不仅提供传输能力，还是数据的创造者处理技术：不仅是处理能力，更是处理方法（结构化语义处理）,大数据技术核心之一：信息的结构化,信息的结构化是大数据技术的核心、关键和难点,大数据结构化是一个不断发展的渐进过程,追求结构化是数据管理的基本动力和目的。获取、处理、存储、传输、利用的效率，特别是利用的有效性基于信息的机构化程度。 数值及事务处理等计算机信息系统早期对象结构化已经成熟，成为大数据结构化的基础。其他相关类型的信息：文本、音视频、图形图像等也在数据库或数据管理发展实践中得到不同程度的关注，产生了一些技术方法，大数据正是在这样的基础上发展。,结构化的两个维度：内在逻辑完备度和

36、应用完备,内在逻辑的完备度与应用需求的完备度之间的约束。人类科学和文明进步的主要客观存在物是概念体系，概念体系的主要载体又是文本。即使是严格定义的科学著作，也没有将其内在语义结构表示作为要求，科学越发展，积累的文献越多，文本信息结构化的难度越大、任务越重。学术界及不少国家已经认识到这个问题对科学研究和提升创新能力的重要性，并着手部署相应的研究计划和工程，著名的有美国和英国科学基础设施计划。,65,支撑大数据技术快速发展，体系趋于完善,1、处理、传输、存储技术延续高速发展2、感知、显示、获取技术驶入快车道3、内容处理、智能系统技术不断成熟4、技术体系不断完善,信息内容的技术：走向智能的核心,20

37、18/8/2,信息组织、管理和利用,文字声音的转化、声音处理、图像处理,机器翻译为代表的自然语言处理,应对数量变化，2的50-100次方,应对应用需求的变化,应对音视频信息类型的变化,概念体系为基础、不同粒度、不同场景的大规模信息组织、管理和利用,大数据技术，从内容角度要重视三个方面的来源,一是关于数据管理和处理研究，包括物理和语义两个领域数据管理。数据结构、算法和数据库相关领域取得的进展最为突出，如文件系统、数据库、数据仓库、元数据、数据模型、内存处理、云存储的研究。应当看到近十年来，关于多维数据结构和算法、机器视觉和摄录象研究和技术，对于大数据研究具有极其重要的参考意义。二是关于数据利用及

38、适应应用需求的研究，包括用户视图、联机数据分析、数据挖掘、检索等。,大数据技术，内容角度要重视三个方面的来源,三是关于语义上理解信息的研究，将人工智能研究成果作为大数据研究的基础，因为从语义角度理解信息是人工智能的基础。从专家系统模式识别神经网络自然语言识别和理解到机器人，都是从不同角度研究理解信息的技术、方法理论。例如 IBM的DeepQA，通过针对广泛收集特定应用领域的信息和知识，在适度结构化、一系列规则和算法的基础上，具备这一领域人的智能。其代表作“沃森”，已经击败了美国电视台“危险”这个具有之力竞赛性质的娱乐节目的冠军，今天，又落户纽约州的伦斯勒里工学院，与学生一起学习，英语和数学。G

39、oogle的“谷歌大脑”将1.6万个处理器构成当前世界上最大的人工脑，模拟人类脑神经系统，通过算法从互联网中提取信息识别猫。,重视大数据发展的关键环节：,收集、组织、管理、利用认识、技术、法律、制度、标准主体、商业模式或运行机制信息的结构化大数据管理系统,（一）收集、组织、管理、利用,找矿开矿炼矿用矿,找矿：发现需要的信息资源,定义需要的信息资源确定的信息资源在哪里是否已经以信息形式存在是否需要采集,开矿：收集和获取,用何种方法收集、获取要用什么样的方式采集已有的怎么获取：购买、交换、再收集没有的怎么采集：委托、技术方案、自采,提炼：变成适用信息,相对于信息，提炼的本质是按应用需求进行结构化处

40、理按需求、语义和物理的结构化特征语义相对于应用的目的考虑处理、存储、传输的速度和成本,大数据利用：与具体应用的结合,将结构化的信息与具体的应用结合，使之发挥作用这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。,大数据需要新型管理系统,满足数据管理流程要求 满足大数据集管理基本功能要求 满足大数据管理新型体系架构 新型中间件与工具,大数据管理系统一般架构示意图,第一层前置处理体系：通信、场景、任务分配、安全等,第二层信息结构化处理体系：场景分类、单元划分规则、算法、单元地址和语义命名规则、单元为基础的记录数据库及

41、其管理系统、地址函数库、语义特征函数库、物理标识库和语义标识库及其管理系统,第三层信息存储体系： 实体库、规则库、函数库、标识库、算法库、索引库的存储结构，中间库、原始库、工作库,第四层信息处理体系： 信息获取处理、信息组织处理、内部处理（包括学习、反馈、整理等等）、应用处理,第五层软硬件资源： 网络、软件、计算机等,（大数据管理方向,面向专业机构面向专业事务处理面向专业化服务面向领域研究,大数据处理离不开云计算技术,一是关于数据管理和处理更加需要复杂高性能计算，包括物理和语义两个领域数据管理，涉及文件系统、数据库、数据仓库、元数据、数据模型、内存处理、云存储。应当看到近十年来，关于多维数据结

42、构和算法、机器视觉和摄录象研究和技术，对于云计算提出了紧迫的需求。 二是关于数据利用及适应应用需求需要云计算支撑，包括用户视图、联机数据分析、数据挖掘、检索等。,大数据处理离不开云计算技术,三是关于语义上理解信息的需要，包括人工智能作为大数据研究的基础，必须以云计算为基础。 IBM的DeepQA，通过针对广泛收集特定应用领域的信息和知识，在适度结构化、一系列规则和算法的基础上，具备这一领域人的智能。其代表作“沃森”，已经击败了美国电视台“危险”这个具有之力竞赛性质的娱乐节目的冠军，今天，又落户纽约州的伦斯勒里工学院，与学生一起学习，英语和数学。Google的“谷歌大脑”将6万个处理器构成当前世

43、界上最大的人工脑，模拟人类脑神经系统，通过算法从互联网中提取信息识别猫。这些都需要强大的并行计算能力,是指一个机构（包括企业）为自身发展目的而构建大数据系统，并不断推向完善这样的大数据系统基于机构，服务于机构。基于机构的大数据系统数量上构成全社会拥有量的主体 这样的大数据系统演进，特点是目的明确、类型多样、利用已有技术和方法为主要路径,大数据系统演进的领域：面向组织机构,是指基于一类事务或一类重要信息类型而收集信息、组织信息、提供服务。人口、企业、空间信息、交通、水务等都是基于事务的大数据系统与基于机构的大数据系统显著不同就是追求一类事务或一类信息的完备度，并具有跨机构性质。事务大数据系统演进

44、的主要特点是对该类信息的逻辑分析在技术上要求居于领先水平,大数据系统演进的领域：事务,是指提供面向服务的大数据系统。显著特征是以服务为核心和最终目标，以服务模式要求为前提要区分服务模式和服务内容及相关研究工作要区分一个服务产品、服务成果绩效考核与相关研究的差别除了数据结构、算法，也就是本报告所称语义特征函数的基础理论和方法研究，以科学研究为基础的信息结构化外，该领域大数据系统的研究和服务均处于领先水平,大数据系统演进的领域：面向服务,是指提供面向服务的大数据系统。显著特征是以服务为核心和最终目标，以服务模式要求为前提要区分服务模式和服务内容及相关工作要区分一个服务产品、服务成果绩效考核与相关研

45、究的差别,大数据系统演进的领域：面向服务,大数据系统演进的技术方法,研究如何提升逻辑能力和处理能力研究大数据特有的演进模式，如何在网络环境下的互动参与平台，开放与管理的原则与方法。交互式为主，适度采用计算或推理是信息结构化的主要模式通过内部学习和调整处理，使系统具备自我演进的功能。,大数据系统演进的技术方法,建立大数据管理系统最重要的技术方法问题是信息结构如何形成。关系数据库中实体和关系的确立，即单元的切分和标识的形成是人为的。但面对类型多样、来源不一、数量庞大的信息，如何切分单元，如何给予成熟的、可处理、可利用的语义标识，人们会首先倾向于通过算法或推理，实际上这是行不通的。,大数据从哪儿来：

46、来自一切客观存在，宇观到微观的物理世界，各种生物体，人类社会活动，人类感知、认识和思维的结果,重视大数据发展提高信息化质量,大数据的形态：数值、文字、符号、音频、视频,大数据主要相关技术：获取能力、转换能力、组织能力、传输能力、处理能力、展示能力，涉及到所有信息技术，最直接的是获取、转换、组织、利用能力,大数据怎么得到：人类的感知、思维，传感器获取,大数据主要影响：改写信息技术和产业版图，成为人类社会发展转型的主要基础,2018/8/2,大数据有多大：无限，这正是信息技术和产业的需求和发展前景所在。P级是2的50次方，走向2的100，200次方，更多,大数据发展路径：各环节相互制约、推动，逐步

47、发展,大数据应用是一个不断发展的渐进过程,追求结构化是数据管理的基本动力和目的。获取、处理、存储、传输、利用的效率，特别是利用的有效性基于信息的机构化程度。 数值及事务处理等计算机信息系统早期对象结构化已经成熟，成为大数据结构化的基础。其他相关类型的信息：文本、音视频、图形图像等也在数据库或数据管理发展实践中得到不同程度的关注，产生了一些技术方法，大数据正是在这样的基础上发展。,衡量大数据应用水平的两个维度：数据完备度和应用完备度,融合的完备度与应用需求的完备度之间的约束。这类约束超越了一个具体系统的范畴。信息化越发展，对信息和信息技术的需求越多，信息化的难度越大、任务越重。,89,影响大数据

48、开发利用的四大因素,制度建设,信息机制,技术,人才和对业务需求的把握,保障,基础,直接影响,决定性作用,深刻理解大数据发展具有影响国家竞争力和治理能力的战略意义,当今信息社会，数据量正在以每两年超过翻番的速度爆炸式增长，增速超过了摩尔定律。大数据已经广泛渗透并深入应用于政府管理、商业金融、教育科技、工业制造、民生服务等经济社会领域，成为促进生产生活和社会管理方式创新变革的重要驱动力。推动大数据发展是提升国家竞争力的战略抉择大数据成为发达国家发展战略资源的新领域。积极发展大数据，已成为发达国家的战略和行动共识。通过发展大数据，获取和控制网络海量数据资源，提高数据掌控权和国家控制力，已成为国际竞争

49、的战略焦点。近几年美、英、澳、法、日、韩等多个国家将数据管理上升到了战略层面，将大数据思维应用到公共管理和政府治理中。数据已成为重要的国家基础性战略资源，对于海量数据的运用正在引发全球新一轮的生产力革命。,数据主权成为大国竞争博弈的新焦点,大数据时代，国家竞争力将部分体现为一国拥有数据的规模、活性以及运用数据的能力。通过掌握移动终端、操作系统、浏览器、平台等信息世界的入口，相当于掌控了信息世界的“总开关”，可以通过信息流掌控物质流、资金流，掌握商品供求关系，进而可在两国贸易、大国竞争博弈中占据主动。分布各地的云端服务器也为主权国家带来了数据监管的难题，数据安全直接关系到国家安全，网络空间的数据主权正在成为大国博弈的新焦点。,