1、基于机群的高性能计算平台构建方案- 1 -基于机群的高性能计算平台构建方案基于机群的高性能计算平台构建方案- 2 -目 录1 需求背景 .41.1 CAE 技术简介 .41.2 CAE 对计算能力的需求 .41.3 CAE 当前面临的主要问题 .52 解决方案 .72.1 并行计算基本原理 .72.2 高性能计算环境 .93 硬件的选购与配置 .103.1 机群的硬件构成 .113.2 典型的硬件配置 .124 软件的安装与优化配置 .124.1 系统及底层支持软件的安装、调试及优化 .134.2 工程计算软件的安装、调试及优化 .165 机群系统管理软件 .175.1 机群系统管理软件开发的
2、背景 .175.2 目前主流的解决方案介绍 .175.2.1 HP CMU .185.2.2 Platform LSF HPC.195.3 自主研发的机群系统管理软件 CAS 介绍 .205.3.1 完全基于 web 的操作方式 .225.3.2 实时资源使用状态监控 .225.3.3 远程起停机群 .235.3.4 可定制的管理模块 .236 机群作业管理软件 .236.1 机群作业管理软件开发的背景 .236.2 目前主流的解决方案介绍 .246.2.1 PBS (Portable Batch System) .246.2.2 LSF (Load Sharing Facility) .24
3、6.2.3 LOADLEVELER.256.2.4 CONDOR.256.3 自主研发的机群作业管理软件 CAS 介绍 .266.3.1 所见即所得的作业提交功能 .266.3.2 齐全的任务操作及查看功能 .276.3.3 图形与文本双重查看任务详情功能 .286.3.4 根据需要编写的任务停止功能 .306.3.5 独特的任务修改计算功能 .316.3.6 其它大众功能简介 .327 CAS 方案的优势 .327.1 无可比拟的易用性 .337.2 精心设计的两级用户管理方案 .337.3 细致入微的数据安全设计方案 .348 CAS 方案的独家特点 .34基于机群的高性能计算平台构建方案
4、- 3 -8.1 与工程计算软件的深度整合 .348.2 完善严密的数据和系统安全管理 .348.3 完全基于 web 的界面技术 .358.4 动态的资源监控 .358.5 可裁剪可定制的弹性系统架构 .358.6 方便实用的两级用户管理方案 .369 成功案例 .36基于机群的高性能计算平台构建方案- 4 -1 需求背景1.1 CAE 技术简介计算机辅助工程技术（Computer Aided Engineering, CAE）已经成为解决当代工程计算包括工业产品的强度、刚度、屈曲稳定性、动力响应、热传导、弹塑性等力学性能以及性能的优化设计等问题的最核心技术和手段。自上个世纪60年代投入商业
5、应用以来，其发展和应用一直与计算机技术以及包括航空发动机在内的实际工程和产品设计的发展密不可分。CAE 的广泛应用使得工程和产品的设计水平发生了质的飞跃。经历了 40 多年的发展历史，CAE 理论和算法都经历了从蓬勃发展到日趋成熟的过程，现已成为工程和产品结构分析中(如航空、航天、机械、汽车、土木结构等领域)必不可少的数值计算工具，同时也是分析连续力学各类问题的一种重要手段。CAE的基本概念是将用理论计算无法实现的复杂分析对象（连续的无限自由度问题）离散成一系列“基元”（有限自由度问题），在此基础上构造一系列非常复杂的、相互关联的“方程组”来近似表达分析对象的内在本质，利用计算机的先进计算能力
6、解算这些“方程组”以获得计算结果。目前的CAE技术不仅包括以有限元分析（FEA）为核心的计算结构力学范畴，也包括计算流体力学（CFD）（包括计算热力学、计算化学等）、计算电磁学（CEM ）等主要的学科领域。因此也出现了对应的两大CAE工程软件群：1）FEA有限元分析软件常见的商业FEA软件有ABAQUS、ANSYS、ADINA、MSC/NASTRAN、I-DEAS等。2）CFD流体动力学分析软件常见的商业CFD软件有Ansys-CFX、Fluent、Numeca、Star-CD、 Phoneics等1.2 CAE 对计算能力的需求随着现代科学技术的发展，人们正在不断建造更为快速的交通工具、更大
7、规模的建筑物、更大跨度的桥梁、更大功率的发电机组和更为精密的机械设备，因此，CAE的分析设计必须对现有的计算能力和存储能力提出了更高的要求，主要表现在： 需要处理更多的工程数据基于机群的高性能计算平台构建方案- 5 -现代勘探和测量技术的发展，使得在设计、生产或施工前后都能获得大量的数据，数据的及时有效处理能为后继的、生产或施工提供有力的指导； 要处理更大规模的问题为了提高分析精度，必须采用更精密的网格划分、模拟更加精细的结构，使得问题规模不断扩大；要完成更加困难的分析在分析中要考虑更多的影响因素，不仅要处理线性弹性问题，还要处理非线性、塑性、流变、损伤以及多物理场的耦合等，分析起来更加困难；
8、 要进行更深层次的优化为了降低成本，提高经济效益，对设计要反复进行优化，而且优化规模也与日俱增。1.3 CAE 当前面临的主要问题CAE对计算能力的需求给当前的计算机系统的计算能力和存储能力带来了日益严峻的挑战。计算速度太慢！网格量太大，内存不足，无法计算！如果您是CFD 或者是FEA工程师，您一定对此深有感触。CAE当前面临的主要问题具体说来表现为如下两个方面：1）、单机CPU计算速度无法满足要求CAE分析复杂度越高，单机所需的计算时间就越多。尽管CPU的计算速度按照摩尔定律不断增长，在某种程度上可以加速计算的效率。但CPU速度所提升的效能，远远不能满足工业界对分析速度与分析复杂度的要求。例
9、如汽车关键零组件、纤维补强复合材料成型、精密光学零件等等。由图1可以看出，当网格数达到一定数量的时候，计算时间过长，这在工程上是不可接受的。因此现有的单机一般来说无法完全满足工业界的需求。基于机群的高性能计算平台构建方案- 6 -0204060801001200 1000 2000 3000 4000 5000 6000网 格 数 (万 )计算100步需要时间(小时)系 列 1图 1 单机(SMP 机器)网格数的增长与计算时间的关系2）、单机内存无法满足要求以CFD计算为例，一般情况下，100万网格需要1G的内存，200万网格就需要2.2G内存，其增长速度不是线性的如图2所示。根据搞天气预报的
10、同行提供，计算天气预报用到了超过5亿网格节点。而单机内存的增加受到系统硬件的限制，同时受到操作系统的限制，例如单机一般只可以提供4-6个内存插槽，每条内存最大8G。Windows XP操作系统最大支持4G内存。0102030405060700 1000 2000 3000 4000 5000 6000网 格 数 (万 )所需要内存(G)理 想 状 态实 际 情 况图 2 网格数的增长与所需内存的关系基于机群的高性能计算平台构建方案- 7 -2 解决方案在工业上是否可以快速的分析大网格的 CAE 问题呢？答案是肯定的，就是采用高性能计算平台作为计算环境，并在此环境上采用并行计算。2.1 并行计算
11、基本原理对于单机单内核计算，在内存与总线速度可以保障的情况下，CPU 的主频决定了计算速度。想要提高速度，人们最初想到的办法是提高主频，但主频的提高目前已经达到生产工艺的极限，也就是说单核的运算能力是很有限的。人们很自然的想到把一个问题分解成几个问题进行。如图 3 所示：图 3 并行计算原理示意图列举一个简单的例子：A=B+C+D-E+F*G 可以转换为A=(B+C)+(D-E)+(F*G)假设有 3 台计算机，cn01,cn02,cn03,则可以首先由一台计算机 cn01 把原始任务分解，然后把分解后的 B+C 传给 cn01,D-E 传给 cn02，F*G 传给 cn03，当各节点把任务计
12、算完毕后把结果传给 cn01,cn01 就只需要把 3 个结果相加就能得到最终结果。通过例子可以看出，任务并行可以节省大量的时间，同时可以计算需要大内存的任务。基于机群的高性能计算平台构建方案- 8 -采用并行计算可以很好的解决在本文第 1 章中提到的问题，首先在计算速度上，采用并行计算明显加速，如图 4 所示：0501001502002503000 2 4 6 8 10121416182022242628303234cpu个 数计算时间(min)图 4 某问题在集群上计算时间与 cpu 个数的关系另外，对于大问题采用并行算法，分解问题本身，对于单机不需要过多的内存，对于需要大量内存的问题可以
13、计算。对于一个典型的不规则区域，可以分解为如图 5 所示。图 5 一个典型的不规则区域分解示例如果采用平分算法，则有：假如单个大问题需要 aM 内存，问题平分为 n份，则所分解的每个子问题所需要的内存 ，当 n 比较大时，单abi)5.12(机所需要的内存就会很小。基于机群的高性能计算平台构建方案- 9 -2.2 高性能计算环境所谓高性能计算环境简单说来就是由多个处理单元(简称 CPU)组成的系统，这些处理单元相互通信和协作，能快速高效求解高效大型复杂问题的系统。当前流行的高性能并行机体系结构包括 4 类，一是对称多处理共享存储并行机（SMP ： Symmetric MultiProcessi
14、ng） ，二是分布共享存储并行机（DSM ：Distributed Shared Memory） ，三是大规模并行机（ MPP：Massively Parallel Processors） ，三是工作站（微机）机群（COW：Cluster Of Workstation、Beowulf PC-Cluster） 。对于这 4 类计算环境，目前都有应用，其性能比较如表 1 所示：表 1 各体系结构计算机比较项目体系 成本 通信延迟 可扩展性 最大总内核 可靠性SMP 适中 低 较差 32 差DSP 较高 较低 稍好 无限制 较好MPP 很高 较低 好 无限制 好COW 低 较高 很好 无限制 很好随
15、着商用微处理器性能的飞速发展，低延迟、高带宽商用网络交换机的出现，和 LINUX 操作系统等自由软件的成熟，并行计算机不再是一个只有大型科研单位才能拥有的设备。例如，将 128 台当前市场上最高性能的 Intel Pentium-III/800MHz 的微机通过 6 个 24 端口的 100Mbps 的网络交换机相互联接，即可构成浮点峰值性能在 1000 亿次左右的并行机，而其成本不超过 200 万元人民币，性能价格比远远高于以上提到的各类并行机（30 倍以上） ，国际上称该类自行研制的并行机为 Beowulf 机群。尽管微机机群在通信性能、稳定性和使用方便等方面有待大幅度提高，但是，它们以其
16、他并行机无法比拟的性能价格比，近年来已经成为了高性能并行计算中的一支不可忽视的重要力量。目前，在我国的各个大学和科研机构，例如中科院、北京大学、清华大学等，微机机群也得到了快速发展和推广应用。特别地，在 2000 年底的 Top 500 排名中，美国 Sandi 国家重点实验室自行研制的机群 Cplant 排名第 84 位。基于机群的高性能计算平台构建方案- 10 -图 6 Beowulf 微机机群示意图Beowulf 微机机群的体系结构如图 6 所示，多台高性能微机通过商用网络交换机相互联接，并拥有各自独立的操作系统、主板、内存、硬盘和其他 I/O设备，构成机群的计算结点。配置一台或多台文件
17、服务器，一方面管理机群计算结点共享的所有软件和用户计算资源，另一方面充当机群与外部网络的联接桥梁，外部科研网的用户只有通过文件服务器才能使用机群的计算资源。由于受商用交换机网络性能和操作系统功能的影响，Beowulf 微机机群的处理机规模一般限制在 100 台左右。但是，如果将交换机替换成专用机群网络，例如 GigaNet、Myrinet 等，则它们的规模可以进一步扩大。因此，在当前技术条件下，微机机群一般可提供千亿次左右的浮点峰值性能。3 硬件的选购与配置布置一个机群，硬件选型是一个系统工程，根据需要高性能计算的要求，机群硬件购置一般要考虑到任务量与价格两个因素。1） 、用户计算任务量的需求。在任何时候，用户任务量是主要需要考虑的，如果任务量不大，购买太多的硬件资源造成资源浪费。任务量比较大，而购买太少的硬件又无法满足要求。2） 、价格因素。当然就任务量来说，硬件配置是越高越好，但是硬件配置越高，所需的资金也越多。这就需要和任务量在企业内部做一个权衡。另外从技术上来说，主要是机群的基本构成与基本成熟机群的选择，这也是本节要讨论的主要问题。微机 N微机微机微机微机 1文件服务器网络交换机 外部网络
