1、 Error! No text of specified style in document. 11第 1 章 绪论很少有一种技术能够像“云计算”这样，在短短的两年间就产生巨大的影响力。Google、亚马逊、 IBM 和微软等 IT 巨头们以前所未有的速度和规模推动云计算技术和产品的普及，一些学术活动迅速将云计算提上议事日程，支持和反对的声音不绝于耳。那么，云计算到底是什么？发展现状如何？它的实现机制是什么？它与网格计算是什么关系？。本章将分析这些问题，目的是帮助读者对云计算形成一个初步认识。1.1 云计算的概念云计算（Cloud Computing）是在 2007 年第 3 季度才诞生的新名
2、词，但仅仅过了半年多，其受到关注的程度就超过了网格计算（Grid Computing ） ，如图 1-1 所示。云 计 算 网 格 计 算 搜 索 量 指 数 Gogle Tronds 图 1-1 云计算和网格计算在 Google 中的搜索趋势然而，对于到底什么是云计算，至少可以找到 100 种解释，目前还没有公认的定义。本书给出一种定义，供读者参考。云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。这种资源池称为“云” 。 “云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带
3、资源等。云计算将计算资源集中起来，并通过专门软件实现自动管理，无需人为参与。用户可以动态申请部分资源，支持各种应用程序的运转，无需为烦琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池，这与早在 2002 年就提出的网格计算池（Computing Pool）的概念非常相似 34。网格计算池将计算和存储资源虚拟成为一个可以任意组合分配的集合，池的规模可以动态扩展，分配给用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，提升平台的服务质量。之所以称为“云” ，是因为它在某些方面具有现实中云的特征：云一般都较大；云的2云计算 2规模
4、可以动态伸缩，它的边界是模糊的；云在空中飘忽不定，无法也无需确定它的具体位置，但它确实存在于某处。之所以称为“云” ，还因为云计算的鼻祖之一亚马逊公司将大家曾经称为网格计算的东西，取了一个新名称“弹性计算云” （Elastic Computing Cloud） ，并取得了商业上的成功。有人将这种模式比喻为从单台发电机供电模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水和电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算是并行计算（Parallel Computing） 、分布式计算（Distributed Computing）和网
5、格计算（Grid Computing）的发展，或者说是这些计算科学概念的商业实现。云计算是虚拟化（Virtualization ） 、效用计算（Utility Computing） 、将基础设施作为服务IaaS（Infrastructure as a Service） 、将平台作为服务 PaaS（ Platform as a Service）和将软件作为服务 SaaS（Software as a Service）等概念混合演进并跃升的结果。从研究现状上看，云计算具有以下特点。1）超大规模。 “云”具有相当的规模，Google 云计算已经拥有 100 多万台服务器，亚马逊、IBM、微软和 Yah
6、oo 等公司的“云”均拥有几十万台服务器。 “云”能赋予用户前所未有的计算能力。2）虚拟化。云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云” ，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解应用运行的具体位置，只需要一台笔记本或一个 PDA，就可以通过网络服务来获取各种能力超强的服务。3）高可靠性。 “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。4）通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。5）高可扩展性。 “云”的
7、规模可以动态伸缩，满足应用和用户规模增长的需要。6）按需服务。 “云”是一个庞大的资源池，用户按需购买，像自来水、电和煤气那样计费。（7）极其廉价。 “云”的特殊容错措施使得可以采用极其廉价的节点来构成云；“云”的自动化管理使数据中心管理成本大幅降低；“云”的公用性和通用性使资源的利用率大幅提升；“云”设施可以建在电力资源丰富的地区，从而大幅降低能源成本。因此“云”具有前所未有的性能价格比。Google 中国区前总裁李开复称，Google 每年投入约 16 亿美元构建云计算数据中心，所获得的能力相当于使用传统技术投入 640 亿美元，节省了 40倍的成本。因此，用户可以充分享受“云”的低成本优
8、势，需要时，花费几百美元、一天时间就能完成以前需要数万美元、数月时间才能完成的数据处理任务。云计算按照服务类型大致可以分为三类：将基础设施作为服务 IaaS、将平台作为服务PaaS 和将软件作为服务 SaaS，如图 1-2 所示。IaaS 将硬件设备等基础资源封装成服务供用户使用，如亚马逊云计算 AWS（Amazon Web Services）的弹性计算云 EC2 和简单存储服务 S3。在 IaaS 环境中，用户相当于在使用裸机和磁盘，既可以让它运行 Windows，也可以让它运行 Linux，因而几乎可Error! No text of specified style in document
9、. 33将 软 件 作 为 服 务 Sa（ Software as Service） 如 ： Salesforce onlie CRM 专 用 通 用 将 平 台 作 为 服 务 PaS（ Platform as Service） 将 基 础 设 施 作 为 服 务 IaS（ Infrastructre as Service） 如 ： Gogle Ap Engie Micrsoft Widows Azure 如 ： Amazon EC2/S3 图 1-2 云计算的服务类型以做任何想做的事情，但用户必须考虑如何才能让多台机器协同工作起来。AWS 提供了在节点之间互通消息的接口简单队列服务 SQS
10、（Simple Queue Service） 。IaaS 最大的优势在于它允许用户动态申请或释放节点，按使用量计费。运行 IaaS 的服务器规模达到几十万台之多，用户因而可以认为能够申请的资源几乎是无限的。同时，IaaS 是由公众共享的，因而具有更高的资源使用效率。PaaS 对资源的抽象层次更进一步，它提供用户应用程序的运行环境，典型的如Google App Engine。微软的云计算操作系统 Microsoft Windows Azure 也可大致归入这一类。PaaS 自身负责资源的动态扩展和容错管理，用户应用程序不必过多考虑节点间的配合问题。但与此同时，用户的自主权降低，必须使用特定的编程
11、环境并遵照特定的编程模型。这有点像在高性能集群计算机里进行 MPI 编程，只适用于解决某些特定的计算问题。例如，Google App Engine 只允许使用 Python 和 Java 语言、基于称为 Django 的 Web 应用框架、调用 Google App Engine SDK 来开发在线应用服务。SaaS 的针对性更强，它将某些特定应用软件功能封装成服务，如 Salesforce 公司提供的在线客户关系管理 CRM（Client Relationship Management）服务。SaaS 既不像 PaaS 一样提供计算或存储资源类型的服务，也不像 IaaS 一样提供运行用户自定
12、义应用程序的环境，它只提供某些专门用途的服务供应用调用。需要指出的是，随着云计算的深化发展，不同云计算解决方案之间相互渗透融合，同一种产品往往横跨两种以上类型。例如，Amazon Web Services 是以 IaaS 发展的，但新提供的弹性 MapReduce 服务模仿了 Google 的 MapReduce，简单数据库服务 SimpleDB 模仿了 Google 的 Bigtable，这两者属于 PaaS 的范畴，而它新提供的电子商务服务 FPS 和DevPay 以及网站访问统计服务 Alexa Web 服务，则属于 SaaS 的范畴。1.2 云计算发展现状由于云计算是多种技术混合演进的
13、结果，其成熟度较高，又有大公司推动，发展极为迅速。Google、亚马逊、IBM、微软和 Yahoo 等大公司是云计算的先行者。云计算领域的众多成功公司还包括 VMware、Salesforce、Facebook、YouTube、MySpace 等。亚马逊研发了弹性计算云 EC2（Elastic Computing Cloud）和简单存储服务S3（Simple Storage Service）为企业提供计算和存储服务。收费的服务项目包括存储空间、4云计算 4带宽、CPU 资源以及月租费。月租费与电话月租费类似，存储空间、带宽按容量收费，CPU 根据运算量时长收费。在诞生不到两年的时间内，亚马逊的
14、注册用户就多达 44 万人，其中包括为数众多的企业级用户。Google 是最大的云计算技术的使用者。Google 搜索引擎就建立在分布在 200 多个站点、超过 100 万台的服务器的支撑之上，而且这些设施的数量正在迅猛增长。Google 的一系列成功应用平台，包括 Google 地球、地图、Gmail、Docs 等也同样使用了这些基础设施。采用 Google Docs 之类的应用，用户数据会保存在互联网上的某个位置，可以通过任何一个与互联网相连的终端十分便利地访问和共享这些数据。目前，Google 已经允许第三方在 Google 的云计算中通过 Google App Engine 运行大型并
15、行应用程序。Google 值得称颂的是它不保守，它早已以发表学术论文的形式公开其云计算三大法宝：GFS、MapReduce 和 Bigtable，并在美国、中国等高校开设如何进行云计算编程的课程。相应的，模仿者应运而生，Hadoop 是其中最受关注的开源项目。IBM 在 2007 年 11 月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。它包括一系列自我管理和自我修复的虚拟化云计算软件，使来自全球的应用可以访问分布式的大型服务器池，使得数据中心在类似于互联网的环境下运行计算。IBM 正在与 17 个欧洲组织合作开展名为 RESERVOIR 的云计算项目，以“无障碍的
16、资源和服务虚拟化”为口号，欧盟提供了 1.7 亿欧元作为部分资金。2008 年 8 月，IBM 宣布将投资约 4 亿美元用于其设在北卡罗来纳州和日本东京的云计算数据中心改造，并计划2009 年在 10 个国家投资 3 亿美元建设 13 个云计算中心。微软紧跟云计算步伐，于 2008 年 10 月推出了 Windows Azure 操作系统。Azure（译为“蓝天” ）是继 Windows 取代 DOS 之后，微软的又一次颠覆性转型 通过在互联网架构上打造新云计算平台，让 Windows 真正由 PC 延伸到“蓝天”上。Azure 的底层是微软全球基础服务系统，由遍布全球的第四代数据中心构成。目
17、前，微软已经配置了 220 个集装箱式数据中心，包括 44 万台服务器。在 我 国 ， 云 计 算 发 展 也 非 常 迅 猛 。 2008 年 ， IBM 先 后 在 无 锡 和 北 京 建 立 了 两 个 云 计 算中 心 ； 世 纪 互 联 推 出 了 CloudEx 产 品 线 ， 提 供 互 联 网 主 机 服 务 、 在 线 存 储 虚 拟 化 服 务 等 ；中 国 移 动 研 究 院 已 经 建 立 起 1024 个 CPU 的 云 计 算 试 验 中 心 ； 解 放 军 理 工 大 学 研 制 了 云 存储 系 统 MassCloud， 并 以 它 支 撑 基 于 3G 的 大
18、 规 模 视 频 监 控 应 用 和 数 字 地 球 系 统 。 作 为 云 计算 技 术 的 一 个 分 支 ， 云 安 全 技 术 通 过 大 量 客 户 端 的 参 与 和 大 量 服 务 器 端 的 统 计 分 析 来 识 别病 毒 和 木 马 ， 取 得 了 巨 大 成 功 。 瑞 星 、 趋 势 、 卡 巴 斯 基 、 McAfee、 Symantec、 江 民 、Panda、 金 山 、 360 安 全 卫 士 等 均 推 出 了 云 安 全 解 决 方 案 。 值 得 一 提 的 是 ， 云 安 全 的 核 心 思想 ， 与 早 在 2003 年 就 提 出 的 反 垃 圾 邮
19、 件 网 格 非 常 接 近 5。 2008 年 11 月 25 日 ， 中 国 电 子 学会 专 门 成 立 了 云 计 算 专 家 委 员 会 。 2009 年 5 月 22 日 ， 中 国 电 子 学 会 隆 重 举 办 首 届 中 国 云计 算 大 会 ， 1200 多 人 与 会 ， 盛 况 空 前 。 2009 年 11 月 2 日 ， 中 国 互 联 网 大 会 专 门 召 开 了“2009 云 计 算 产 业 峰 会 ”。 2009 年 12 月 ， 中 国 电 子 学 会 举 办 了 中 国 首 届 云 计 算 学 术 会 议 。2010 年 5 月 ， 中 国 电 子 学
20、会 将 举 办 第 二 届 中 国 云 计 算 大 会 。1.3 云计算实现机制由于云计算分为 IaaS、PaaS 和 SaaS 三种类型，不同的厂家又提供了不同的解决方案，Error! No text of specified style in document. 55目前还没有一个统一的技术体系结构，对读者了解云计算的原理构成了障碍。为此，本书综合不同厂家的方案，构造了一个供参考的云计算体系结构。这个体系结构如图 1-3 所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。 管 理 中 间 件 资 源 管 理 任 务 管 理 用
21、 户 管 理 负 载 均 衡 故 障 检 测 映 像 部 署 和 管 理 使 用 计 费 用 户 环 境 配 置 用 户 交 互 管 理 故 障 恢 复 监 视 统 计 账 号 管 理 安全管理 访 问 授 权 综 合 防 护 安 全 审 计 服 务 接 口 服 务 注 册 服 务 查 找 服 务 访 问 服 务 工 作 流 SOA构 建 层 计 算 资 源 池 资 源 池 计 算 机 存 储 器 数 据 库 物 理 资 源 存 储 资 源 池 网 络 资 源 池 数 据 资 源 池 软 件 资 源 池 软 件 网 络 设 施 身 份 认 证 任 务 执 行 任 务 调 度 生 命 期 管 理
22、 图 1-3 云计算技术体系结构云计算技术体系结构分为四层：物理资源层、资源池层、管理中间件层和SOA（Service-Oriented Architecture，面向服务的体系结构）构建层。物理资源层包括计算机、存储器、网络设施、数据库和软件等。资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多的是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下 2000 个服务器、解决散热和故障节点替换的问题并降低能耗。管理中间件层负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务。SOA 构建层将云
23、计算能力封装成标准的 Web Services 服务，并纳入到 SOA 体系进行管理和使用，包括服务接口、服务注册、服务查找、服务访问和服务工作流等。管理中间件层和资源池层是云计算技术的最关键部分，SOA 构建层的功能更多依靠外部设施提供。云计算的管理中间件层负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映象（Image）的部署和管理、任务调度、任务执行、任务生命期管理等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互
24、接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。基 于 上 述 体 系 结 构 ， 本 书 以 IaaS 云 计 算 为 例 ， 简 述 云 计 算 的 实 现 机 制 ， 如 图 1-4所 示 。6云计算 6图 1-4 简化的 IaaS 实现机制图用户交互接口向应用以 Web Services 方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的
25、运行状态，并完成用户使用节点情况的统计。执行过程并不复杂，用户交互接口允许用户从目录中选取并调用一个服务，该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具为用户准备运行环境。1.4 网格计算与云计算网格（Grid）是 20 世纪 90 年代中期发展起来的下一代互联网核心技术。网格技术的开创者 Ian Foster 将之定义为 “在动态、多机构参与的虚拟组织中协同共享资源和求解问题” 6。网格是在网络基础之上，基于 SOA，使用互操作、按需集成等技术手段，将分散在不同地理位置的资源虚拟成为一个有机整体，实现计算、存储、数据、软件和设备等资源的共享，从而大幅提高资源的利用率，
26、使用户获得前所未有的计算和信息能力。国 际 网 格 界 致 力 于 网 格 中 间 件 、 网 格 平 台 和 网 格 应 用 建 设 。 就 网 格 中 间 件 而 言 ， 国 外著 名 的 网 格 中 间 件 有 Globus Toolkit、 UNICORE、 Condor、 gLite 等 ， 其 中 Globus Toolkit 得到了广泛采纳。就网格平台而言，国际知名的网格平台有TeraGrid、EGEE、CoreGRID、D-Grid 、ApGrid 、Grid3、GIG 等。美国 TeraGrid 是由美国国家科学基金会计划资助构建的超大规模开放的科学研究环境。TeraGrid
27、 集成了高性能计算机、数据资源、工具和高端实验设施。目前 TeraGrid 已经集成了超过每秒 750 万亿次计算能力、30PB 数据，拥有超过 100 个面向多种领域的网格应用环境。欧盟 e-Science 促成网格 EGEE（ Enabling Grids for E-sciencE） ，是另一个超大型、面向多种领域的网格计算基础设施。目前已有 120 多个机构参与，包括分布在 48 个国家的 250 个网格站点、68000个 CPU、20PB 数据资源，拥有 8000 个用户，每天平均处理 30000 个作业，峰值超过150000 个作业。就网格应用而 言 ， 知 名 的 网 格 应 用
28、 系 统 数 以 百 计 ， 应 用 领 域 包 括 大 气 科 学 、Error! No text of specified style in document. 77林 学 、 海 洋 科 学 、 环 境 科 学 、 生 物 信 息 学 、 医 学 、 物 理 学 、 天 体 物 理 、 地 球 科 学 、 天 文 学 、工 程 学 、 社 会 行 为 学 等 。我国在十五期间有 863 支持的中国国家网格（CNGrid ，863-10 主题）和中国空间信息网格（SIG，863-13 主题） 、教育部支持的中国教育科研网格（ ChinaGrid） 、上海市支持的上海网格（ShanghaiG
29、rid ）等。中国国家网格拥有包括香港地区在内的 10 个节点，聚合计算能力为每秒 18 万亿次，目前拥有 408 个用户和 360 个应用。中国教育科研网格ChinaGrid 连接了 20 所高校的计算设施，运算能力达每秒 3 万亿次以上，开发并实现了生物信息、流体力学等五个科学研究领域的网格典型应用。十一五期间，国家对网格支持的力度更大，通过 973 和 863、自然科学基金等途径对网格技术进行了大力支持。973 计划有“语义网格的基础理论、模型与方法研究”等，863 计划有“高效能计算机及网格服务环境” 、 “网格地理信息系统软件及其重大应用”等，国家自然科学基金重大研究计划有“网络计算
30、应用支撑中间件”等项目。就像云计算可以分为 IaaS、PaaS 和 SaaS 三种类型一样，网格计算也可以分为三种类型：计算网格、信息网格和知识网格 6。计算网格的目标是提供集成各种计算资源的、虚拟化的计算基础设施。信息网格的目标是提供一体化的智能信息处理平台，集成各种信息系统和信息资源，消除信息孤岛，使得用户能按需获取集成后的精确信息，即服务点播（Service on Demand）和一步到位的服务（One Click is Enough） 。知识网格 8研究一体化的智能知识处理和理解平台，使得用户能方便地发布、处理和获取知识。需 要 说 明 的 是 ， 目 前 大 家 对 网 格 的 认
31、识 存 在 一 种 误 解 ， 认 为 只 有 使 用 Globus Toolkit 等 知 名 网 格 中 间 件 的 应 用 才 是 网 格 。 我 们 认 为 ， 只 要 是 遵 照 网 格 理 念 ， 将 一 定 范围 内 分 布 的 异 构 资 源 集 成 为 有 机 整 体 ， 提 供 资 源 共 享 和 协 同 工 作 服 务 的 平 台 ， 均 可 以 认为 是 网 格 。 这 是 因 为 ， 由 于 网 格 技 术 非 常 复 杂 ， 必 然 有 一 个 从 不 规 范 到 规 范 化 的 过 程 ，应 该 承 认 差 异 存 在 的 客 观 性 。 虽 然 网 格 界 从
32、一 开 始 就 致 力 于 构 造 能 够 实 现 全 面 互 操 作 的环 境 ， 但 由 于 网 格 处 于 信 息 技 术 前 沿 、 许 多 领 域 尚 未 定 型 、 已 发 布 的 个 别 规 范 过 于 复 杂造 成 易 用 性 差 等 原 因 ， 现 有 网 格 系 统 多 针 对 具 体 应 用 采 用 适 用 的 、 个 性 化 的 框 架 设 计 和实 现 技 术 等 ， 造 成 网 格 系 统 之 间 互 操 作 困 难 ， 这 也 是 开 放 网 格 论 坛 OGF（ Open Grid Forum） 提 出 建 立 不 同 网 格 系 统 互 通 机 制 计 划 G
33、IN（ Grid Interoperation Now） 的 原 因 。从 另 一 个 角 度 看 ， 虽 然 建 立 全 球 统 一 的 网 格 平 台 还 有 很 长 的 路 要 走 ， 但 并 不 妨 碍 网 格 技术 在 各 种 具 体 的 应 用 系 统 中 发 挥 重 要 的 作 用 。网格计算与云计算的关系如表 1-1 所示。表 1-1 网格计算与云计算的比较网 格 计 算 云 计 算目标 共 享 高 性 能 计 算 力 和 数 据 资 源 ， 实 现 资 源 共 享 和 协 同 工 作 提供通用的计算平台和存储空间，提供各种软件服务资源来源 不同机构 同一机构资源类型 异构资源
34、 同构资源资源节点 高性能计算机 服务器/PC虚拟化视图 虚拟组织 虚拟机计算类型 紧耦合问题为主 松耦合问题应用类型 科学计算为主 数据处理为主用户类型 科学界 商业社会付费方式 免费（政府出资） 按量计费8云计算 8标准化 有统一的国际标准 OGSA/WSRF 尚无标准，但已经有了开放云计算联盟 OCC网格计算在概念上争论多年，在体系结构上有三次大的改变，在标准规范上花费了大量的人力，所设定的目标又非常远大 要在跨平台、跨组织、跨信任域的极其复杂的异构环境中共享资源和协同解决问题，所要共享的资源也是五花八门 从高性能计算机、数据库、设备到软件，甚至知识。云计算暂时不管概念、不管标准，Goo
35、gle 云计算与亚马逊云计算的差别非常大，云计算只是对它们以前所做事情新的共同的时髦叫法，所共享的存储和计算资源暂时仅限于某个企业内部，省去了许多跨组织协调的问题。以 Google为代表的云计算在内部管理运作方式上的简洁一如其界面，能省的功能都省略，Google文件系统甚至不允许修改已经存在的文件，只允许在文件后追加数据，大大降低了实现难度，而且借助其无与伦比的规模效应释放了前所未有的能量。网格计算与云计算的关系，就像是 OSI 与 TCP/IP 之间的关系：国际标准化组织（ISO）制定的 OSI（开放系统互联）网络标准，考虑得非常周到，也异常复杂，在多年之前就考虑到了会话层和表示层的问题。虽
36、然很有远见，但过于理想，实现的难度和代价非常大。当 OSI 的一个简化版 TCP/IP 诞生之后，将七层协议简化为四层，内容也大大精简，因而迅速取得了成功。在 TCP/IP 一统天下之后多年，语义网等问题才被提上议事日程，开始为 TCP/IP 补课，增加其会话和表示的能力。因此，可以说 OSI 是学院派，TCP/IP 是现实派； OSI 是 TCP/IP 的基础，TCP/IP 又推动了 OSI 的发展。两者不是“成者为王、败者为寇” ，而是滚动发展。没有网格计算打下的基础，云计算也不会这么快到来。云计算是网格计算的一种简化实用版，通常意义的网格是指以前实现的以科学研究为主的网格，非常重视标准规
37、范，也非常复杂，但缺乏成功的商业模式。云计算是网格计算的一种简化形态，云计算的成功也是网格的成功。网格不仅要集成异构资源，还要解决许多非技术的协调问题，也不像云计算有成功的商业模式推动，所以实现起来要比云计算难度大很多。但对于许多高端科学或军事应用而言，云计算是无法满足需求的，必须依靠网格来解决。目前，许多人声称网格计算失败了，云计算取而代之了，这其实是一种错觉。网格计算已经有十多年历史，不如刚兴起时那样引人注目是正常的。事实上，有些政府主导、范围较窄、用途特定的网格，已经取得了决定性的胜利。代表性的有美国的 TeraGrid 和欧洲的 EGEE 等，这些网格每天都有几十万个作业在上面执行。未
38、来的科学研究主战场，将建立在网格计算之上。在军事领域，美军的全球信息网格 GIG 已经囊括超过 700 万台计算机，规模超过现有的所有云计算数据中心计算机总和。相信不久的将来，建立在云计算之上的“商业 2.0”与建立在网格计算之上的“科学2.0”都将取得成功。参考文献1 Michael Armbrust, Armando Fox, and Rean Griffith, et al. Above the Clouds: A Berkeley View of Cloud Computing, mimeo, UC Berkeley, RAD Laboratory, 2009 2 Ian Foster
39、, Carl Kesselman, and Steve Tuecke. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15(3), 2001Error! No text of specified style in document. 993 刘鹏. 提出一种实用的网格实现方式 网格计算池模型，2002 http:/ 4 Peng Liu, Yao Shi, San-li Li,
40、Computing Poola Simplified and Practical Computational Grid Model, the Second International Workshop on Grid and Cooperative Computing (GCC 2003), Shanghai, Dec 7-10, 2003, published in Lecture Notes in Computer Science (LNCS), Vol. 3032, Heidelberg: Springer-Verlag, 2004 5 Peng Liu, Yao Shi, Franci
41、s C. M. Lau, Cho-Li Wang, San-Li Li, Grid Demo Proposal: AntiSpamGrid, IEEE International Conference on Cluster Computing, Hong Kong, Dec 1-4, 2003, selected as one of the excellent Grid research projects for the GridDemo session 6 李国杰. 信息服务网格 第三代 Internet. 计算机世界, 2001 年第 40 期7 Foster, I., C. Kessel
42、man, and S. Tuecke, The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 2001. 15(3): p. 200-2228 H. Zhuge, The Knowledge Grid, World Scientific Publishing Co., Singapore, 200410云计算 10第 2 章 Google 云计算原理Google 拥有全球最强大的搜索引擎
43、。除了搜索业务以外，Google 还有 Google Maps、Google Earth、Gmail 、YouTube 等各种业务，包括刚诞生的 Google Wave。这些应用的共性在于数据量巨大，而且要面向全球用户提供实时服务，因此 Google 必须解决海量数据存储和快速处理问题。Google 的诀窍在于它发展出简单而又高效的技术，让多达百万台的廉价计算机协同工作，共同完成这些前所未有的任务，这些技术是在诞生几年之后才被命名为 Google 云计算技术。Google 云计算技术具体包括：Google 文件系统 GFS、分布式计算编程模型 MapReduce、分布式锁服务 Chubby 和
44、分布式结构化数据存储系统Bigtable 等。其中， GFS 提供了海量数据的存储和访问的能力，MapReduce 使得海量信息的并行处理变得简单易行，Chubby 保证了分布式环境下并发操作的同步问题，Bigtable 使得海量数据的管理和组织十分方便。本章将对这四种核心技术进行详细介绍。2.1 Google 文件系统 GFSGoogle 文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google 云计算提供海量存储，并且与 Chubby、MapReduce 以及 Bigtable 等技术结合十分紧密，处于所有核心技术的底层。由于 GFS 并不是一个
45、开源的系统，我们仅仅能从Google 公布的技术文档来获得一点了解，而无法进行深入的研究。文献1是 Google 公布的关于 GFS 的最为详尽的技术文档，它从 GFS 产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。当 前 主 流 分 布 式 文 件 系 统 有 RedHat 的 GFS3（ Global File System） 、 IBM 的 GPFS4、Sun 的 Lustre5等 。 这 些 系 统 通 常 用 于 高 性 能 计 算 或 大 型 数 据 中 心 ， 对 硬 件 设 施 条 件 要 求较高。以 Lustre 文件系统为例，它只对元数据管理器 MDS 提供容
46、错解决方案，而对于具体的数据存储节点 OST 来说，则依赖其自身来解决容错的问题。例如，Lustre 推荐 OST节点采用 RAID 技术或 SAN 存储区域网来容错，但由于 Lustre 自身不能提供数据存储的容错，一旦 OST 发生故障就无法恢复，因此对 OST 的稳定性就提出了相当高的要求，从而大大增加了存储的成本，而且成本会随着规模的扩大线性增长。正如李开复所说的那样，创新固然重要，但有用的创新更重要。创新的价值，取决于一项创新在新颖、有用和可行性这三个方面的综合表现。Google GFS 的新颖之处并不在于它采用了多么令人惊讶的技术，而在于它采用廉价的商用机器构建分布式文件系统，同时将 GFS 的设计与 Google 应用的特点紧密结合，并简化其实现，使之可行，最终达到创意新颖、有用、可行的完美组合。GFS 使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性问题，这样可以使得存储的成本成倍下降。由于 GFS 中服务器数目众多，在 GFS 中服务器死机是经常发生事情，甚至都不应当将其视为异常现象，那么如何在频繁的故障中确保数据存储的安全、保证提供
