1、HACMP for AIX原理、设计及实现联想集成系统有限公司2目录前 言 _3第一章 HACMP 的概念和原理 _41.1 HACMP 简介 _51.2 HACMP 中术语的定义 _61.3 HACMP 群集的硬件组成 _71.4 AIX 与 HACMP _101.5 HACMP 群集的软件结构 _111.6 HACMP 群集资源 _121.7 建立高可用系统避免单点故障 _15第二章 HACMP 群集的设计 _212.1 高可用性设计要点 _212.2 存储系统设计 _212.3 LVM 组件设计 _302.4 HACMP for AIX 的网络设计 _312.5 群集结构的设计 _362
2、.6 应用的设计 _42第三章 HACMP 群集的实现 _433.1 准备 AIX _443.2 安装 HACMP _513.3 配置 HACMP _52第四章 HACMP 群集的管理 _574.1 群集的启动 _574.2 群集的停止 _584.3 群集的监视 _594.4 群集的测试 _60附录 A HACMP 和数据库 _61附录 B HACMP 与同类产品的比较 _64联想集成系统有限公司3前 言传统概念里，关键性任务的计算一直是大型主机的专有领域。主机能够提供关键性任务所必须的很高的交易速度、非常好的系统可用性和鲁棒的系统管理功能。随着 UNIX 系统的发展和普及，关键性任务对主机的
3、依赖程度也在逐渐减弱，越来越多的企业将他们的关键性任务应用从专有的主机系统迁移至基于 UNIX 平台上来。这种转变主要基于以下一些因素：Client/Server 模式的高效率和扩展性、开放标准的出现、UNIX 平台上交易处理能力的增强和基于 RISC 技术的处理器的性能/价格比的提高。IBM 公司的 HACMP for AIX 软件是业界领先的，建立 UNIX 平台上关键性任务计算环境的工具软件。HACMP for AIX 软件能够保证关键性资源的高可用性。本文主要讨论 HACMP for AIX 的原理、规划、配置、管理和其它一些相关内容，并根据自己的实践提出了在规划和配置 HACMP 时
4、的一些经验和建议，希望能够对大家有所帮助。本文的第一章主要介绍 HACMP 的基本概念和工作原理，第二章主要介绍HACMP 高可用群集的设计，第三章介绍 HACMP 群集的配置和实现，第四章主要介绍 HACMP 群集的管理。本文的附录 A 介绍了 HACMP 和主要数据库产品配合时的各种配置。附录 B 介绍 UNIX 平台主流高可用产品的比较。文中用到的命令用加黑的斜体字表示，如：fsck文中用到的 SMIT 路径用黑体字表示，如：smit devices带下划线的正文文字代表应引起注意的事项。因本人水平所限，文中难免会有错误或介绍不详之处，希望大家批评指正，并多提宝贵意见。联想集成系统有限公
5、司4第一章 HACMP 的概念和原理在今天竞争激烈的全球市场中，从金融、电信、医疗到零售、运输、制造的各个企业都必须保证关键性业务的信息和数据的可用性，而且通常是一天 24 小时，一年365 天。各个企业必须始终如一地、正确地根据用户的要求提供银行往来金额、投资资金、医疗记录、测试结果和其它许多关键服务，而成功提供这些服务的关键是依靠信息技术的可用性。由 Contingency Planning Research 提供的最新研究结果表明，平均每小时的宕机时间会导致上百万美元的损失。更重要的是，当因为意料之外的系统故障而丢失他们的数据之后，50% 的公司没有再重新开门，90%的公司则歇业两年。因
6、此，要保证业务的连续性，就必须尽可能减少会导致信息和应用不可用的系统宕机时间，从而减小对用户服务的影响。关键业务的连续性可以通过以下三个层次的方法实现：磁带备份磁带备份是实现基本的业务连续的通用方法。信息先备份到磁带上，然后送到另外的地点保存。这种方法的问题在于磁带备份往往需要较长的时间来记录数据。另外，在数据备份过程中或者做数据备份前的系统或环境故障很可能造成数据丢失。而且，从备份磁带上恢复数据也需要很长的时间，数据存储得越多，恢复的时间越长。高可用系统高可用系统一般是在一个地点，通过高可用软件将一组服务器连接在一起，组成一个群集。IBM 的 HACMP for AIX 和 HP 的 MC/
7、ServiceGuard 就是这样的群集产品，通过快速地将用户、应用和数据从发生硬件或软件故障的机器切换至其它机器来提供高可用计算环境。容错系统容错系统依赖于冗余的硬件设备和软件来实现关键业务的连续性。虽然容错系统是避免宕机和数据丢失的有效方法，但是购买、操作和维护容错系统都是非常昂贵的。联想集成系统有限公司5另外，系统的升级也需要很大的代价。用户可以根据自己的应用情况选择适合自己的方法实现关键业务的连续性。1.1 HACMP 简介IBM 公司的 HACMP for AIX 软件是基于 AIX 平台的，在高可用系统层次实现关键性任务计算环境的工具软件。HACMP 应用于 RS/6000 系列的
8、单处理器机型、对称多处理器机型或 SP 的节点，可以检测系统故障并快速恢复服务，使最终用户只感受到很小的中断时间。HACMP （High Availability Cluster Multi-Processing）有两个主要的组成部分：高可用技术（HA）和群集多处理技术（CMP） 。高可用技术在 HA 产品出现之前，在 UNIX 领域实现高可用性的最有效途径是通过容错技术。容错技术依靠专门的硬件设备检测到硬件的故障，然后立即切换至冗余的硬件设备上，不管故障设备是处理器、内存板、电源、I/O 子系统还是存储子系统。尽管这种切换能够无缝地提供不间断的服务，但却在硬件费用和性能上付出了很高的代价，因
9、为冗余的设备不能处理事务。更重要的是，容错系统不能处理软件故障，而这却是宕机的最常见的原因。高可用技术并不是通过将可用性当作一系列重复的物理设备来实现高可用性，它将高可用性看作是一个全系统范围的、共享的资源的集合，这些资源相互协作来保证关键的服务。高可用技术将软件和工业标准的硬件结合起来，在系统、设备或应用发生故障时通过快速恢复关键服务来使宕机时间减至最小。尽管不能立即切换，恢复服务也是很快的，通常在 1 分钟之内。容错技术和高可用技术的区别在于服务中断的时间。当硬件发生故障时，容错环境没有宕机时间，而高可用环境有很小的宕机时间。但是，在容错环境中，由于软件故障无法被检测，有可能造成系统的严重
10、破坏。而在高可用环境中，软件故障只会造成很小的宕机时间。现在，大多数的公司都愿意忍受一小段的宕机时间，采用高可用技术，而不愿意花费高得多的代价采用只能检测硬件故障的容错技术。另外，在高可用配置中，备份机还可承担其他应用。联想集成系统有限公司6群集多处理技术群集多处理技术是指一组松散耦合的机器，通过网络连接在一起，共享磁盘资源。在群集中，多个服务器协同工作，为用户提供一组服务或资源。将两个或多个服务器组成群集来备份关键应用是一个划算的高可用性解决方案。用户可以使用更多的技术能力，同时确保关键应用在硬件或软件故障后能够快速恢复正常工作。群集多处理技术还为客户提供了灵活的扩展途径。客户可以很容易地在
11、群集中增加处理器以分担不断增加的工作量，还可以对群集中的处理器进行升级。而在容错环境中，则必须同时增加两个处理器，其中一个作为冗余备份，在正常工作时不进行任何处理。1.2 HACMP 中术语的定义群集（Cluster ）：多个服务器节点一起工作，使用 TCP/IP 进行通讯，每个节点上运行 Cluster Manager 进程。节点（Node）：群集中的每个运行 Cluster Manager 进程的独立的机器。节点是HACMP 的核心部分，节点上运行 AIX 操作系统和 HACMP for AIX 软件。在 HACMP群集中，每个节点有一个唯一的节点名。一个节点可能拥有一组资源磁盘、卷组、文
12、件系统、网络、网络地址和应用。节点上一般运行着访问共享磁盘上数据的“后台”应用。资源（Resources）：由一个节点控制的实体，当节点发生故障时能够被其它节点接管。可以被当作资源的实体有： 磁盘、卷组、文件系统 NFS 输出的文件系统 IP 地址 应用程序关键应用（Critical Application）：由 HACMP 控制其启动和停止的应用程序，例如数据库的后台进程。联想集成系统有限公司7事件（Event）：群集中发生的一些事情，即群集状态的改变，包括节点up/down，网络 up/down，网卡故障等等。行为（Behavior）：事件发生时群集的响应动作。事件是由 shell 脚本控
13、制的。重聚（Reintegration）： 将故障节点、网络、网卡重新带回群集的过程。下图是 HACMP 群集的一个例子。在实际的群集中，由于节点数目、网络拓扑、磁盘类型等具体配置的区别，群集的形状可能会不同。图 1：HACMP 群集1.3 HACMP 群集的硬件组成从上图中可以看出，HACMP 群集的硬件由以下硬件组成： 节点 共享磁盘设备 网络和网卡ClientsPublic LAN1Public LAN2Nodes Private LANDisk BusesShared Disks联想集成系统有限公司8 客户机1.3.1 节点机型HACMP for AIX 软件支持 RS/6000 单处
14、理器和 SMP 机型作为群集的节点。在HACMP 中，SMP 系统和单处理器机型一样，都被当作单一节点。采用 SMP 系统是提高整个群集吞吐量的有效途径。群集中的每个节点都可以是一个大的 SMP 系统，使得群集系统远远超过单个系统的处理能力，可以支持成千上万个客户机连接到单一的数据库系统。1.3.2 共享磁盘设备群集中的每个节点都需要配置内置硬盘来存储 AIX 操作系统、HACMP 软件和应用程序。另外，每个节点都应连接到一个或多个外置的共享磁盘上。共享磁盘是指物理上连接到多个节点的磁盘设备，共享磁盘上存放着关键任务的数据，通常采用镜像或 RAID 技术来提供数据的冗余保护。HACMP 的共享
15、磁盘设备支持 SCSI-2 Differential 磁盘、 SCSI-2 Differential 磁盘阵列和串行磁盘。HACMP 支持两种对共享磁盘的访问方式：非并发访问和并发访问。在非并发访问环境中，每个时间点上只能有一条活动的连接，保持活动连接的节点拥有磁盘，当此节点离开群集时，它拥有的磁盘被其他节点接管。在并发访问环境中，共享磁盘同时与多个节点保持活动连接，因此当节点故障时，不需要接管磁盘。并发访问要求SSA 或 RAID 作为外置共享磁盘。共享硬盘应该单独放在一个机柜中，不应和机器混放。1.3.3 网卡一个节点至少应有两块网卡连接每个网络：一块服务网卡（service adapte
16、r）和一块备份网卡（standby adapter） 。如果配置 IP 地址接管，还应配置启动网卡（boot adapter） 。启动网卡并不需要单独的物理网卡，而是配置在服务网卡上的不同的 IP 地址。HACMP for AIX 采用网卡标识（adapter label）来识别网卡。对于 TCP/IP 网络，联想集成系统有限公司9网卡标识是在文件/etc/hosts 中关联某一 IP 地址的名字。一个节点可以定义多个网卡标识和 IP 地址。1.3.4 网络HACMP 使用 LAN 来监视网络，网卡和其它节点的状态，HACMP 支持 AIX 支持的大多数基于 TCP/IP 的网络，如 Ethe
17、rnet、Token-Ring、FDDI、ATM 等等。HACMP 中定义了三种类型的网络：公用网络（ public network） 、私用网络（private network）和串行网络（serial network） 。公用网络在 HACMP 环境中，公用网络连接多个节点并允许客户机服务群集节点。Ethernet、Token-Ring、FDDI、ATM 等网络可以被定义为公用网络。私用网络HACMP 群集中的节点必须相互通讯以实现对数据的连续访问。私用网络提供两个节点之间的点到点通讯，但不允许客户机访问。HACMP 使用私用网络来传输锁的信息，只有在没有定义私用网络时才使用公用网络来传输
18、锁的信息。私用网络一般用于并发访问磁盘的情况。Ethernet、Token-Ring、FDDI、ATM 等网络可以被定义为私用网络。串行网络串行网络是两个节点之间的点到点连接。HACMP 在 TCP/IP 子系统发生故障时，使用串行网络来传输控制信息和心跳信息。串行网络可以是一条 SCSI-2 Differential 总线或一条 RS232 串行线。网络名称网络名称用于标识 HACMP 群集中的网络，群集进程使用网络名称信息来确定哪些网卡连接在同一物理网络上。网络的命名是任意的，但必须保持一致。如果多个网卡连接在同一物理网络上，定义这些网卡时必须使用相同的网络名称。1.3.5 客户机客户机是
19、指能够访问群集中节点的机器。客户机通过公用局域网络与节点通讯，联想集成系统有限公司10其上运行“前端”程序或客户机应用来访问群集节点上的服务器应用。HACMP for AIX 为群集节点上的关键性的数据和应用提供高可用性环境，但不负责客户机的高可用性。1.4 AIX 与 HACMPAIX 是第一个，也是最为成熟的第二代 UNIX 操作系统，具有很多先进的特征，保证 UNIX 系统的可靠性和高性能，IBM 公司引入到 UNIX 中的 LVM 逻辑卷管理和JFS 日志文件系统，使 AIX 更容易使用和管理。 AIX 满足几乎所有的工业标准和事实标准，是真正的开放系统。AIX 包含许多承袭 IBM
20、大主机等级的优异特性，诸如系统集成性、系统管理及系统可用性。除了具有当系统损毁时可以快速修复的文件系统外，IBM 运用自身在计算机领域 45 年的经验，增加了逻辑卷管理和日志文件系统等功能，支持三份能够同步写入及错误区块重新配置的系统镜像功能，用以确保您高价值的数据。IBM 在设计 RISC/6000 的 AIX 操作系统时，针对 UNIX 系统的弱点，重新改写了UNIX 的内核，清除 200 个编程缺陷。在系统功能稳定性、可靠性和可管理性方面做了极大的改进，使 UNIX 从一个主要面向科技市场的操作系统，发展成为能够承担关键任务的成熟的操作系统。AIX 具有动态可扩展内核，用户装卸设备时可联
21、机动态配置，无须关机和重新启动，具有实时的扩展功能。所有硬件设备均可随时动态增加、更换而不影响文件系统及其数据。AIX 中的许多功能和 HACMP 紧密配合，为用户提供更高的可用性。以下介绍AIX 中与 HACMP 相关的几项功能： LVM、JFS、 ODM、SMIT 和 SRC。逻辑卷管理器 LVM（Logical Volume Manager）LVM 逻辑上将多个硬盘当作单一实体进行管理。使用 LVM 可将存储空间分区为“逻辑卷” ，可以指定其存放位置，以获得优化的性能和可用性。逻辑卷（文件系统）可以动态扩展而不需重新配置整个逻辑硬盘子系统。逻辑卷可以镜像，避免磁盘的单点故障。LVM 使磁盘资源很容易被其他节点接管。
