1、 本科毕业设计 （ 20 届） 私有云的架构技术研究与方案设计 所在学院 专业班级 通信工程 学生姓名 学号 指导教师 职称 完成日期 年 月 - 1 - 摘 要 私有云是指企业单位不对公众开放，为自身提供云服务（ IT 资源）的数据中心，它是相对公共云而言的，是云计算的一种。虽然 公共云的概念更具革新意义，但在 2012 年之前， IT 部门投资私有云计算相关金额将超过公共云计算 ，所以对私有云的研究具有现实意义。 把私有云环境设定为万里学院，以 IBM“蓝云”计算平台为依据，根据万里学院的自身需求和特点进行硬件选型和对关键技术的选择，得出一个合理的架构方案，并衍射到一般企业中。 从存储、计
2、算、管理三方面对私有云架构的关键技术进行研究分析。 数据存储技术主要介绍 GFS，编程模型主要介绍 MapReduce，数据管理技术主要介绍 BigTable，这三者都是 Google 开发的技术。 安全性一直是用户很 关心的问题，某种程度上，这也是当前人们较公共云更倾向于私有云投资的原因之一。对架构中的安全性问题进行分析，对照安全性需求给出相应的技术解决手段。 关键词： 私有云；架构；关键技术 - 2 - Abstract Private Cloud is relatively to Public Cloud, its not open to the public enterprises,
3、only provide for their own Cloud services (IT resources).Although the concept of Public Cloud is more revolutionary, but before 2012, the IT investment in the Private Cloud Computing will be more than the Public Cloud Computing, so the research on the Private Cloud is practical significance. The Env
4、ironment of the private cloud is set to Wanli University, take the IBM “Blue Cloud” computing platform as the basis, according to the Wanli Universitys characteristics and own needs to make the choice of the hardware models and key technologies, to arrive at a reasonable framework for the program, a
5、nd diffraction to the general enterprises. Users have always been very concerned about the security, to some extent; this is one of the reasons that currently people are more interested in the Private Cloud than the Public Cloud. Analyze the security issues in the structure, given the appropriate te
6、chnical solution means. Finally, from the hardware, software, automated deployment, production efficiency and systems management five aspects, analyzed the return on investment of structure, Judge the feasibility of Private Cloud architecture. Key Words: Private clouds; structure; key technology - 3
7、 - 目 录 1 引言 .1 2 私有云的定义 .2 3 构建私有云的目标和意义 .3 4 私有云架构的关键技术 .6 4.1 数据存储技术 .6 4.2 编程模型 .7 4.2.1 MapReduce 运行模型 .8 4.2.2 MapReduce 实现机制 .9 4.3 数据管理技术 . 11 4.3.1 BigTable 数据模型 . 11 4.3.2 BigTable 系统架构 .12 4.4 安全管理技术 .13 4.4.1 用户认证与授权 .14 4.4.2 数据隔离 .14 4.4.3 数据加密 .14 4.4.4 数据保护 .15 4.4.5 分级安全控制 .15 4.4.6
8、网络隔离 .15 4.4.7 灾备管理 .16 5 私有云架构的方案设计 .17 5.1 私有云参考架构 .17 5.2 硬件选型 .18 5.2.1 服务器 .18 5.2.2 存储设备 .19 5.2.3 网络设备 .19 5.3 关键技术选择 .20 5.3.1 虚拟化技术 .20 5.3.2 存储体系结构 .20 5.4 内部云架构实例 .21 5.4.1 架构组成 .22 5.4.2 硬件 .23 5.4.3 软件（关键技术） .24 5.4.3 架构成本估算 .25 6 结论 .27 致 谢 . 错误 !未定义书签。 参考文献 .28 附录 1 私有云参考架构 .30 - 1 -
9、1 引言 “云计算”是 2010 年 IT行业最火的词汇之一，多家业界分析公司都将云计算列为 10 大战略技术之首。 云计算的 优势在于 能轻松取代现有 IT 架构与处理程序，但事实上未来 （至少在相当长的一段时间内） IT 部门的 形态 可能两者兼具；企业仍需设置 IT部门来管理与调度 IT 资源，其中有部分即可能属于私有云计算； IT部门还必须肩负起分配 IT 服务的责任，以决定是否寻求外部服务商协助或进行内部调度。 国际研究暨顾问机构 Gartner 指出 ，尽管公共云计算服务较符合规模经济原则，但在可预见的未来，私有云计算将在公共云计算服务成熟之前大行其道；Gartner 预测 ， 2
10、012 年之前， IT部门投资私有云计算相关金额将超过公共云计算。1 企业投资私有云计算，等于是为未来进阶公共云计算预做准备；这些投资代表的不只是技术的改变，也是 企业在程序、文化与商业接口上的变革；企业若能提早预做准备，不但有利于云计算资源相关决策，未来转换到公用云计算架构的过程，也可能因此更为顺利。 - 2 - 2 私有云的定义 何谓私有云？这是相对公有云 和混合云 来说的 。 根据云计算服务的部署方式和服务对象范围可以将云分为 3 类：公共云，私有云和混合云。三者之间的关系如图 2。 私有云也称为内部云或专属云，它是指企业单位不对公众开放，只为自身提供云服务（ IT 资源）的数据中心。私
11、有云可部署在企业数据中心的防火墙内，也可部 署在一个信任的服务器托管场所。前者，私有云的用户完全拥有整个云中心设施，可以控制哪些应用程序在哪里运行，并且决定哪些用户使用云服务。对于后者，则由像 Sun， IBM 这样的云计算提供商安装、配置和运营基础设施，以支持企业内专用云的运作。由于私有云的服务提供对象是针对企业内部，私有云上的服务可以更少地受到在公共云中必须考虑的诸多限制，比如带宽、安全和法规遵从性等。而且，通过用户范围控制和网络限制等手段，私有云可以提供更多的安全和私密等专属性保证 2。 当云以服务方式提供给大众时，称为“公共云”，公共云由云提供商 运行，为用户提供从应用程序、软件运行环
12、境，到物理基础设施等方方面面的 IT 资源的安装、管理、部署和维护。用户选择不同的服务模式获得自己想要的 IT资源，且按照即付即用（ pay-as-you-go）的方式付费，用多少，付多少。 混合云则是把“公共云”和“私有云”结合到了一起的方式。企业用户可以通过一种可控的方式部分独占，部分与他人共享。利用公共云的成本优势，将非关键的应用运行在公共云上，同时将安全性要求更高，关键性更强的主要应用通过内部的私有云提供服务 3, 4。 部分向内，部分向外 图 2-1 私有云、公有云与混合云三者间的关系 私有云 混合云 公共云 面向企业内部 面向大众 - 3 - 3 构建私有云的目标和意义 对于企业来
13、说 ，建立高性能计算平台，并不仅仅是搭建一台高性能计算机这么简单，企业的目标是建立一个高水平、低成本的公共服务平台，实现网络环境下的计算资源、存储资源和数据资源的有效共享，给用户提供方便、有效的服务。 一般的数据中心，服务器的真实利用率低于 20%。数据中心需要按照峰值准备资源，以便能够应付高峰期，但资源在非高峰期时间难免闲置。峰值越高，浪费越多。 传统方式需要几个星期的时间来增加或减少一台服务器，而云计算能够在几分钟之内完成，因而更好按需分配资源。传统数据中心因为需要几周才能完成新设备的申请和安装，唯一的办法就 是提前预备资源设备以便应付峰值。然而即使峰值预测正确，也会存在浪费，如图 3-1
14、 所示。如果我们高估了峰值，则浪费更多，如图 3-2 所示。而如果低估了需求的峰值，则会使用户无法正常访问，得不到服务，影响工作效率，如图 3-3 所示。 图 3 - 1 即使高峰负载可预期，没有云的弹性，资源也存在浪费（红线和蓝线之间部分即在非高峰时间）01020304050607080901 2 3 4 5 6时间资源访问量容量- 4 - 无论对于大型企业还是中小企业，云计算弹性能力的价值就体现出来了。没有弹性的情况下，因为资源闲置，单位时间内成本更高，过高的估计峰值，也会导致同样的状况，而在低估峰值的情况下，资源配置不足，流失客户，也导致成本上升 （由于一部分客户永久离开，固定费用保持不
15、变，但现在摊销在较少的用户身上）。这说明了非弹性资源在面对任何突发的工作量的根本限制，而构架云计算能很好的解决这类问题 5。 私有云的主要应用场景是基础架构云，也就是把传统企业数据中心进行改造，变成一个以云计算模式运行的云平台，服务于企业内部的不同应用和业务系统。简单地说，企业私有云从技术手段来讲等同于虚拟化 +自动化 +服务管理 6。 图 3 -2 如果高估了峰值，则浪费更多（红线和蓝线之间部分在非高峰时间）0204060801001201 2 3 4 5 6时间资源访问量容量图 3 -3 如果低估了峰值，则部分访客在峰值时得不到服务，网站甚至可能瘫痪，对于商业网站，一些客户由于无法访问，可
16、能就永久放弃了该网站，造成客户流失（红线之上，蓝线之下的为无法访问量）01020304050607080901 2 3 4 5 6时间资源访问量容量- 5 - 预期目标： 通过云计算来搭建新的高性能计算平台，统一管理软硬件资源，以虚拟化和自动化的方式动态部署资源，用来统一提供服务，从而提供良 好的扩展性，支持按需变化的运算模式。通过该平台将计算、存储资源以及数据和应用作为服务通过网络提供给用户，给用户提供灵活、个性化、多元和简单的应用和服务，从而能够非常好地实现企业对计算平台的需求。 - 6 - 4 私有云架构的关键技术 4.1 数据存储技术 为保证高可用、高可靠和经济性，私有云计算采用分布式
17、存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。 另外，私有云系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高 传输率的特点。 云计算的数据存储技术主要有谷歌的非开源 GFS（ Google File System） 7和 Hadoop开发团队开发的 GFS的开源实现 HDFS（ Hadoop Distributed File System）。 以 GFS为例。 GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。 G
18、FS和普通的分布式文件系统有以下区别，如表 4-1所示。 GFS系统由一个 Master和大量块服务器构成。 Master存放文件系统的所有元数据，包括名字空间、存取控制、文件分块信息、文件块的位置信息等。 GFS中的文件切分为 64MB的块进行存储。 在 GFS文件系统中，采用冗余存储的方式来保证数据的可靠性。每份数据在文件 系统 组件失败管理 文件大小 数据写方式 数据流和 控制流 GFS 不作为 异常处理 少量 大文件 在文件末尾附加数据 数据流和控制流分开 传统分布式 文件系统 作为 异常处理 大量 小文件 修改现存 数据 数据流和控制流结合 表 4-1 GFS 与传统分布式文件系统的区别
