各厂商高端存储产品技术对比.doc

1、往链点点通共享资源，了解更多请登录 www.WL各厂商高端存储产品的技术对比目录1 背景信息 .42 技术指标列表 .62.1 大型号指标列表 .62.2 小型号指标列表 .73 体系结构分析 .93.1 HDS USP V/USP VM 体系结构 先进的统一星型网络架构 .93.2 EMC DMX-4/DMX-4 950 体系结构 .113.3 IBM DS8300 Turbo/DS8100 Turbo 体系结构 落后的双控制器结构 .134 Cache 技术分析 .164.1 HDS USP V/VM 缓存技术 .164.2 EMC DMX-4 缓存技术 .174.3 IBM DS8000

2、 缓存技术 .175 缓存并发访问能力比较 .195.1 HDS USP V 缓存并发数 .195.2 HDS USP VM 缓存并发数 .215.3 EMC DMX-4/DMX-4 950 缓存并发数 .225.4 DS8300 缓存并发数 .225.5 小结 .236 IO 性能 .246.1 测试结果公开网站 .246.2 DS8300 测试结果 .256.3 USP V 测试结果 .266.4 对比 .266.5 DMX-4/950 测试结果 .267 存储虚拟化整合技术 .277.1 HDS USP V/USP VM 虚拟化 .277.2 IBM 和 EMC 虚拟化技术 .288 存

3、储分区技术 .309 动态供应技术 .3210 各个厂商的宕机记录 .3411 HDS 向客户承诺的系统可靠性 .361 背景信息存储（即智能磁盘阵列）已经成为企业 IT 支撑系统越来越重要的一个分支。目前全球范围公认的主流存储解决方案供应商主要有 HP、EMC、IBM 等。随着技术的发展和市场的分化，上述几个主流厂商都向市场提供两个系列的存储产品：即高端存储和中端存储两个系列，分别满足不同级别和不同规模的应用需求。为了更好地进行产品选型，我们需要对各厂商的产品进行深入分析对比，以作为我们选择的重要依据。本文首先对各厂商的高端存储进行分析，中端存储的分析将在其他文件中提供。下表是各厂商高端存储

4、型号的详细列表。产品 HP EMC IBM HDS大 XP24000 DMX-4 DS8700 USP V小 XP20000 DMX-4 950 DS8300 USP VM在技术分析前，我们确定了一些主要的技术方面，然后在这些技术指标上对各厂商的产品进行对比，包括主要指标列表、体系结构、Cache 技术、性能、存储虚拟化功能、存储分区、以及容量动态供应技术等。另外，还要说明一下，通过各厂商的技术资料和产品介绍，我们了解到上表中各厂商的小型号和大型号（例如 HP XP20000 和 XP24000）在体系架构和总体功能上是完全相同的，其系统内部运行的也是同一套微码（存储操作系统） ，所不同的主要

5、是系统扩展性方面，例如前端控制器、后端控制器、缓存、最大磁盘的数量等。2 体系结构分析体系结构决定着产品的本质特性：一个产品拥有优秀、均衡的体系结构，这个产品才能拥有良好的可靠性和稳定性，才能拥有高的性能。2.1 HP XP 系列产品体系结构先进的统一星型网络架构HP XP 系列产品作为高端存储，拥有一个适合存储系统的、没有潜在瓶颈的、全光纤交换式和点对点直连相混合的统一星型网络体系架构 Universal Star Network（USN） ，如下图所示。图中 CHA 为前端通道控制器，DKA 为后端磁盘控制器，SMA 是控制缓存，CMA 是数据缓存，CSW 是内部缓存交换机。HP XP 系

6、列产品的技术白皮书列举了 USN 统一星型网络体系结构拥有 2 项核心技术：第一项：数据缓存读写采用全光纤交换式架构。交换式体系结构又称 CrossBar 结构，是一种高带宽、大吞吐率和无阻塞的体系结构，已经广泛应用在 IT 行业、电信行业的高端设备上。不论是大型 UNIX 主机（HP Superdome、Sun Enterprise Server 25K、IBM P590 等） ，以太网核心交换机（Cisco ） 、存储网核心交换机（如Brocade、McData 以及 Cisco SAN Director） ，甚至是电信交换机等均采用了无阻塞 CrossBar 技术作为其系统架构，这已经是

7、业界发展的方向。Cache 是存储系统的核心部件，XP 把整个系统的所有缓存 Cache 分为两个独立部分：数据缓存（如上图 CMA 所示）和控制缓存（上图 SMA 所示） 。其中数据缓存用来存放服务器/主机读写的数据，控制缓存是用来存放数据缓存的索引（我们称之为 metadata）以及系统通信数据的共享区的。存储系统把数据缓存在逻辑上分为若干个 page（大小为4K， 8K，16K 等） ，每个 page 有一个线性地址（即 page ID） 。每次读写都是以 page 为单位进行，即使是只需要读一个 byte，最后对缓存的读写也是以一个 page 进行的。因此对于数据缓存来说，最重要的是需

8、要持续的高带宽和大吞吐率，XP在数据缓存读写上采用交换式结构设计这是真正的根据存储系统的特点而设计的。o XP24000 从内部交换机到数据缓存设计有 64 路 1.0625GB/s 的通路连接起来，数据缓存共有 68GB/s 的带宽；o XP20000 从内部交换机到数据缓存设计有 8 路 1.0625GB/s 的通路连接起来，数据缓存共有 8.5GB/s 的带宽；其次是控制缓存采用点对点直连技术。如上文所述，控制缓存主要用来存放数据缓存的索引和共享通讯数据。其中数据缓存的索引是一张二元表，其数据结构如下：某个数据块在磁盘数据卷上的地址 某个数据块在数据缓存上的地址在微观上，服务器对存储的一

9、次读写的详细过程如下：业务软件读某个数据 数据库演变为读某个数据库表纪录 数据库底层演变为读某个逻辑卷的某个数据块 操作系统卷管理软件演变为读某个数据卷的某个数据块 XP24000 演变为某个 LUN 的某个 page XP24000 在控制缓存中查找索引，判断是否该数据 page 在数据缓存中 。如果返回一个非 0 值，说明该数据在数据缓存中，这次读操作为读命中 read hit；如果返回为一个 0 值，这说明此次操作为 read miss，系统将在共享缓存中写入该数据块 page ID，并通知后端磁盘控制器将数据块读入到数据缓存中。XP 任何一个操作，都需要访问控制缓存。而且对控制缓存的读

10、写有如下特点：o 每次对控制缓存的访问的数据量很小，一般就是一个长整数（即page ID） ；o 读写并发度很高，因为一次数据读写可能导致多次控制缓存的读写；o 控制缓存中还包含了大量存储控制器之间的通信数据，但每次访问的数据量都不大。o 因此对控制缓存的技术要求是：控制器到控制缓存的通道要多，每条通道的带宽不必很宽。XP 就是遵循这个设计原则，对控制缓存的读写设计为点对点直连结构： XP24000 每个控制器（包括前后端控制器）都通过 4 路 150MB/s的通路直接连接到每个控制缓存卡上，因此系统满配置 32 块控制器的情况下，一共设计有 4*32*2=256 路 150MB/s 的通路，

11、整个带宽为 38.4GB/s； XP20000 每个控制器都通过 2 路 150MB/s 的通路直接连接到每个控制缓存卡上，因此系统满配置 8 块控制器的情况下，一共设计有2*8*2=32 路 150MB/s 的通路，整个带宽为 4.8GB/s；结论HP XP 采用数据缓存交换式结构，控制缓存点对点直连结构是最符合存储系统对数据访问和管理的特点的，这种统一星型网络结构是最稳定和均衡、最先进和最高性能的体系架构。这是其他厂商所无法相比的。2.2 EMC DMX-4/DMX-4 950 体系结构EMC 高端存储系统 2 个型号 DMX-4/DMX-4 950 采用的是类似的结构，但又有不同。我们先

12、分析一下 DMX-4 的结构，再阐述 DMX-4 950 结构的不同之处。DMX-4 采用的是 DMX 结构，即直连矩阵结构 Direct Matrix Architecture。EMC称这种点对点 DMX 结构是能够彻底消除系统带宽瓶颈的 “先进”架构，是比已变成工业界事实标准的 CrossBar 高端系统架构还要优越的体系结构？我们分析一下实际情况。下图就是 DMX 体系结构示意图。从图中可知，DMX 结构中主要可描述如下：前端 8 个各类通道控制器与 8 块 Cache 卡点对点直接相连，共 64 个连接通路；8 个后端磁盘控制器也与 8 块 Cache 直接相连，共 64 个连接通道；

13、这里有一点最重要，就是所有通道和磁盘控制器均连接到一个称之为“Control and Communication Signals”的卡上，如图中所标示的。这个卡实际上是一个Multiplexer。 Multiplexer 是什么东西呢？它实际上是一个多路复用器， DMX-4/DMX-4 950 采用这种多路复用器对多个通道控制器和磁盘控制器访问同一个Cache 卡可能产生的冲突进行控制。现在很多人都不知道 Multiplexer 是什么东西。实际上在早期 IBM 大型机上使用的 SNA 网络上就是使用的这种“多路复用器” ，直到网络交换机出现以后，才被市场所淘汰。与交换技术和交换机相比，Mul

14、tiplexer 是一种原始和低级的复用设备，其延迟和效率都非常低，仅适合对数据量不大的某个控制信号使用，而采用到存储系统中来控制多路对 Cache 卡的冲突，很难适应高端存储系统可靠性和稳定性不断提高的要求，其本身已经为市场所淘汰。另外需要指出的是，DMX-4 950 中，Cache 卡只有 2 块，前端通道控制器与后端磁盘控制器共用一个控制器，共用一个带宽，因此其带宽很小，该产品的可靠性和性能可想而知。而相比之下，HDS USP VM 所有的控制器都是互相独立的，不是共享同一块控制器。2.3 IBM DS8000 体系结构落后的双控制器结构虽然 DS8000 系列产品被 IBM 称之为高端

15、存储系统，但是其采用的是典型的双控制器结构，这种架构是中端存储系统采用的结构。因此有不少第三方分析师把DS8000 定位为一个具有高端的可扩展性能力的中端存储产品。请看下图。资料来源：IBM DS8000 Redbook如图所示，DS8000 实质上是由左右两边 2 台简装的 IBM p570 小型机作为控制器，共享内部总线（RIO-G loop）的这样一个双控制器共享总线结构。这个结构是典型的中端存储的结构，下图是各厂商中端存储的体系结构，这些中端存储包括 HDS AMS1000、EMC CX3-80、IBM DS4800。大家请看看有何不同？体系结构决定着系统的档次和定位，这就是为什么众多

16、第三方独立咨询机构都把DS8000 产品定位为中端存储产品的本质原因。HDS AMS 系列存储系统架构图总之，DS8000 是由 2 台简装的 p570，其上运行简化的 unix 操作系统和阵列控制软件，通过共享总线，外挂接口卡以及若干磁盘组成。特别要指出的是，2 台p570 上运行的 unix 简化版和阵列控制软件，并不是存储系统上的微码，而是普通服务器上的 Cluster 软件和相关的应用软件，其执行效率和响应速度都无法满足存储系统对微码的要求。存储系统的微码需要简化、高效、执行速度快、周而复始地完成服务器/主机对数据的访问请求，以及相关存储软件功能（例如数据本地复制克隆快照、远程数据复制等） ，而 DS8000 显然难于满足这个要求。更重要的是，这种设计最致命的是影响系统的可靠性和稳定性。众所周知，双机热备集群技术对于普通应用系统来说，基本能满足业务要求在一台小型机故障的情况下，在有限时间里业务能切换到另一台小型机上，但是所有使用过cluster 的客户都很清楚，这个有限时间是在分钟一级就是配置得非常优化的应用系统，这个时间也往往要 5 分钟以上。