Rocksclusters安装经验总结.doc

1、经过几天的苦苦摸索，终于搞定了 Rocks clusters 的安装和初步配置。现将安装过程中遇到的问题及解决经验做一总结，以便给自己以后重新安装时做一参考，或者能帮助也想安装 Rocks cluster 的网友顺利一些，能节省一些花在摸索问题解决办法上的解决时间。很早一段时间以前就下载了 oscar 集群安装软件，虽然很仔细的阅读了安装指南，但在安装的 过程中还是遇到了很多问题，而不能顺利的成功安装，也花时间在网上找了很多零碎的文档，最后还是没能安装成功。在网上找文档时，得知了 Rocks clusters 也是一个非常流行的集群软件，还是免费开放的，并能实现自动安装，免去了修改很多配置文件

2、的烦恼（在以前搭建 PVM 集群时就需要修改挺多 配置文件，想起就有点头大），于是到其官方网站 http:/www.rocksclusters.org 下 载了当时最新版本 5.1 的 Rocks 安装程序（现在最新版本是 5.2），我用来搭建集群的机器都是 32 位的 i386 类型的，于是下载了适用于 i386 的 5 张安装光盘，1 张 DVD 光盘和 4 张 CD 光盘，DVD 光盘上的东西（包括kernerl、base、os-1、os-2）都是必装的，其他几张 CD 上的 (os-3 到 os-6)是选装的。在安装指南提到，Frontend 节点机必须要有 2 块网卡才行，其中一个网

3、卡接其他集群节点机，另一个网卡接外网。但我 安装集群的目的是自己来做并行计算用，不打算与外网连通，所以就想当然的认为 Frontend 节点机有一个网卡就可以了，但正是因为这个想当然，使我在后 面的安装过程中遇到了很多问题，浪费了很多时间去摸索，当意识到必须有两块网卡才可以之后，原来的很多问题也都自动消失了。所以，Frontend 节点机必须有两块网卡才能安装 Rocks 成功，切记切记！其实在我意识到 Frontend 节点机必须要有两块网卡之前，我也已经顺利安装了 Frontend 节点机和一台 compute 节点机，当时这样安装的 Rocks 系统是存在挺多问题的，比如 qmaster

4、 等服务无法启动、也无法采用 VM 虚拟机的方式来作为计算节点。这些也是很长一点时间以后在重新来接着安装 Rocks 集群时才知道的。安装 Rocks cluster 的步骤如下：1、首先需要安装 Frontend 节点机，相当于一个集群的服务节点机：（1）在 CMOS 中将光驱设为开机启动第一设备，将包含 kernel 包的 Rocks 集群的 DVD 安装盘或只包含 kernel 包的 CD 光盘放入光驱，开机启动。（2）当出现一个 Rocks 安装 boot:界面时，会提示输入 build 加回车来开始安装 Frontend 节点（如果在 boot:提示符后直接回车的话是开始安装 com

5、pute 或 vm container等节点机，在后面安装 compute 或 vm container 节点机时会用到）。（3）设置 Frontend 节点机中连接外网的网卡 eth1 的 IP 地址等网络配置。如果连接外网的网卡是采用 DHCP 的方式来获取 IP 的话，就可以跳过这步，系统会给 eth1 网卡自动分配 IP 并设置网络。如果采用固定 IP 的话，就需要手动设置 IP 地址及掩码、DNS 等。内网的 IP 设置不用管，系统自动分配即可。（4）接下来会提示选择安装文件的来源（CD/DVD 或官方网址），我选择的是 CD/DVD 方式，然后开始选择需要安装的文件包（rocks

6、中称为 roll)，这时需要将 DVD 光盘重新放入或 kenerl、base 等、os-1，is-2 这 4 张 CD 光盘依次放入，把需要安装的 roll 都打勾选择安装，这些 roll 都是必须要选的，如果没有选择全，在安装的过程中就会出现错误，只能重新启动安装。 当然这时候也可以选择 os-3 至 os-4 这几张光盘里的 roll 来安装。等选择完需要安装的 roll 以后，就可以点 next 来继续安装了。（5）这时需要选择对硬盘的分区方式（自动或手动），选择“自动”就会以默认的分区格式来对 整块硬盘进行分区，选择“手动”就会进入分区工具界面，具体的分区要求可参照 rocks 安装

7、说明上的推荐。我选择的是“手动”，因为“自动”方式会默认 rocks安装占用整块硬盘，而我的硬盘上还装有 WindowsXP 系统，所以采用“手动”方式使得Rocks 安装只占用其中一部分硬盘，这样 Frontend 节点机中也可以有双系统了。分区格式化硬盘以后就开始进入下面的安装过程了。（6）提示依次放入包含前面选择安装的 roll 的各张光盘，会自动将各种光盘上的内容都拷贝到硬盘上，然后出现安装进度条开始安装过程。等一段时间安装完成后，Frontend 节点机的安装就算大功告成了！2. 然后是其他节点机（compute 或 vm container 等）的安装（1）以 root 登录 Fr

8、ontend 节点机，在命令行运行 insert-ethers，这 时会弹出一个界面让选择是安装 compute 节点还是 vm container 节点或其他类型的节点。选择了要安装的节点机类型后，点击 OK 后，就会进入等待节点机安装请求的界面。这时就可以启动要安装的节点机开 始安装过程了。（2）安装时可以用光盘启动的方式或 PXE 网络启动的方式启动节点机，PXE 网络启动方式需要在 CMOS 里设置，由于我的机器主板不支持 PXE 启动方式，所以我选择的是光盘启动，将包含 kernel 包的 DVD 或 CD 光盘放入要安装的节点机的光驱，引导启动节点机。（3）这时会进入和安装 Fon

9、tend 节点机时同样的 boot:提示符界面，现在不需要敲入 build，而是直接回车就可以了，接下来就会自动进行整个安装过程，包括向 Frontend 节点机请求 IP 地址、从 Frontend 节点机拷贝 kickstart 安装文件及各种 roll 文件等。可以在 Frontend 节点机上运行“rocks-console compute-0-0(正在安装的节点机名) “来监控安装过程。（4）节点机安装完就会自动重启，重启完成后可以在 Frontend 节点机运行 rocks list host 命令来列出 Rocks cluster 中已经安装好的节点机，如果能看到刚才安装的节点机

10、就说明已经正确安装。（5）重复以上的步骤可以安装其他的节点机。在安装过程中我发现了 Rocks cluster 提供了通过 VM 虚拟机来构建集群的方法，这样我就可以只用两台机器来模拟包含多个节点机的集群了，从而方便在这个虚拟集群上来开发调试并行 程序，等并行程序开发好以后再转移到包含多个物理节点机的集群上来测试并行计算的性能和速度。Rocks cluster 通 xen 技术来实现虚拟机，首先需要采用前面介绍的步骤来安装Frontend 节点机，要保证在安装过程中选择安装了 xen 包，其他过程和 前面都相同。然后再以和安装 compute 节点机类似的步骤安装 vm container 节

11、点机，安装完以后可以用rocks list host 命令来查看是否安装成功，一般 vm container 节点机的主机名称会自动命名为“vm-container-0-0“这种形式。虚拟集群的方法根据 Frontend 节点机是否虚拟机可分为两种，一种是在 Frontend 节点机也是作为虚拟机来安装，一种是 Frontend 节点机和前面的相同，都是一般的物理节点机。这两种方法在 xen roll 安装指南中都有详细介绍，我选用的是后一种方法。需要提一下的是，我安装的是最新的版本 5.2，但在一开始安装虚拟集群时遇到了一些问题，不能成 功安装 compute 虚拟机节点，后来在网上 Roc

12、ks 讨论区里查了一些文档才发现 5.2 版本在这方面存在 bug，并且开发者已经写好了修正的 fix 包， 名称为 service-pack 5.2.1，官方网站上已经可以下载，在安装 Frontend 节点机时，这个包也要一起安装上才行。我采用的后一种方式的 Rocks 虚拟集群的具体安装步骤是：（1）在安装完 Frontend 节点机和 vm container 节点机后，在 Frontend 节点机上运行：rocks add host vm vm-container-0-0 membership=“Compute“来在节点机 vm-contianer-0-0 上安装一个 VM 虚拟机作

13、为 compute 类型的 节点机，新安装的虚拟机的主机名一般会自动命名为“compute-0-0-0“这种形式，当然这个命令还可以加入其它一些选项，比如虚拟机的名称、分配 内存大小等等，具体可参见 xen roll安装指南。（2）然后在 Frontend 节点机上运行：rocks start host vm compute-0-0-0 install=yes来启动刚才安装的虚拟机 compute-0-0-0，并开始 compute 节点机的安装过程。install=yes 一定要加上，否则无法开始安装过程，在 xen roll 安装指南中没有写这个选项，可能是开发者忽略了这一点。（3）没有出

14、现错误信息的话，接下来就已经开始了 compute 节点机的安装，这时可以在 Frontend 节点机上运行：rocks-console compute-0-0-0来监控 compute 节点机的安装过程，安装完以后会自动重启 compute-0-0-0 节点机。（4）重复上面的方法，可以安装多个虚拟节点机。（5）等所有虚拟节点机安装并启动以后，可以在 Frontend 节点机上运行：virt-manager来监控和管理各个虚拟机的运行情况。至此，安装就大功告成了，至于其他的 Rocks 集群的其他管理命令和工具可以参照其官方网站的用户手册：http:/www.rocksclusters.or

15、g/wordpress/?page_id=4另外，还有几个在管理 Rocks 集群时需要注意的地方：1、在每次运行完 rocks 的一些命令修改了数据库配置信息后，比如删除 compute 节点机，都要再运行：rocks sync config来将更新后的数据库信息写入到节点机的系统配置文件中，否则在运行其他管理命令时会遇到一些莫名的错误。2、在已有 Frontend 节点机上安装 service-pack 或添加其他新的 roll 的方法：（1） wget http:/www.rocksclusters.org/ftp-site/pub/rocks/rocks-5.2/linux/servi

16、ce-pack-5.2.2-1.i386.disk1.iso其中 wget 后面的部分为在线安装时的 roll 文件。rocks run host /boot/kickstart/cluster-kickstart2、如果集群中的节点机需要重新安装，可以在这个节点机上运行：/boot/kickstart/cluster-kickstart来重装系统。或者可以在 Frontend 节点机上运行：rocks run host /boot/kickstart/cluster-kickstart来重新安装所有的 compute 节点机。3、如果想重装集群中所有的 compute 节点机，并在重装完以后让这些节点机继续执行由于重装而中断的计算任务，可以通过 SGE 控制来实现，运行：/opt/gridengine/examples/jobs/sge-reinstall.sh4、安装完 Frontend 节点机以后，centos 不能正确显示中文字体，这时可以运行：yum install fonts-chinese来在线安装中文字体，当然这时机器必须是与互联网连通的，安装完以后将系统语言修改为中文就可以了。添加用户：#useradd #passwd #rocks sync users删除节点：#rocks remove host compute-0-5#rocks sync config