Greenplum安装部署参考手册.doc

1、Greenplum安装部署参考手册V1.02016年3月安装部署手册此文档仅供参考1目 录第一 章 硬件环境部署 .21.1 服务器与机柜 .21.2 网络部署 .21.2.1服务器网络连接 .21.2.2网卡绑定（bond）推荐模式 .31.3 raid及文件系统规划 .31.3.1 Master服务器配置 .31.3.2 Segment服务器配置 .4第二 章 GP软件环境部署 .52.1 操作系统环境安装部署 .52.2.1 BIOS设置开启超线程.52.2.2 安装操作系统基础包.52.2.3 安装系统语言.52.2.4 安装系统工具包.62.2.5 开发语言连接驱动.82.2.6 时

2、区配置.82.2.7 文件系统和分区配置.92.2.8 网卡配置.102.2.9 操作系统安全配置.112.2.10 操作系统用户组和用户 .132.2.11 网络IP配置 .142.2.12 对外服务VIP设置 .152.2.13 集群NTP服务时钟同步配置 .152.2.14 ssh服务参数调整 .152.2 操作系统参数设置 .152.3 数据库系统安装部署 .18Greenplum软件安装 .18数据库初始化 .212.4 数据库参数设置 .232.5 基准性能测试 .242.6 后续工作 .24安装部署手册此文档仅供参考2第 一 章 硬 件 环 境 部 署1.1服务器与机柜服务器器与

3、机柜的摆放应需要充分考虑机器散热的问题，不建议每个机柜都完全放满。1.2网络部署1.2.1服 务 器 网 络 连 接Greenplum集群内部各节点服务器通过独立的万兆以太网交换机连接，交换机为集群内部私有，配置两台，两台交换机直连，以双活方式工作。每台集群内部服务器需配置两个万兆网口，每个网口连接一个交换机，同时两个万兆网口以mode4 方式邦定，配置一个IP。如下图所示，每台服务器的第一张网卡都连接到一台交换机上，同理另一张网卡都连接到另一台交换机上。每 台 服 务 器 的 第 一 张 网 卡统 一 连 接 到 一 台 交 换 机 上两台交换机之间也需要互联，双活方式工作。示意图如下：安装

4、部署手册此文档仅供参考3另外，Greenplum数据库集群的管理节点Maser/standby机器，需要与上层业务网络互连，作为集群访问的入口，具体连接方式根据客户环境网络情况确定，同时需要综合考虑后续文件服务器、ETL服务器等的网络连接情况。1.2.2网 卡 绑 定 （ bond） 推 荐 模 式为了达到网络带宽的最大化，建议两块万兆网卡采用Active-Active的方式进行绑定，具体绑定参数设置如下：BONDING_OPTS=mode=4 miimon=100 xmit_hash_policy=layer3+4其对应具体算法如下：layer3+4：(source port XOR des

5、t port) XOR (source IP XOR dest IP) AND 0xfff参考EMC DCA一体机的配置如下：BONDING_OPTS=“miimon=100 mode=4 xmit_hash_policy=1“两者实际是一样的：MODULE_PARM_DESC(xmit_hash_policy, “balance-xor and 802.3ad hashing method: 0 for layer 2 (default), 1 for layer 3+4, 2 for layer 2+3“)1.3raid及文件系统规划1.3.1 Master服 务 器 配 置Master为

6、1张阵列卡，6块2.5寸的900GB的10000转速的sas硬盘。其中2块硬盘做一组RAID10安装操作系统，剩下4块硬盘做成1个RAID5磁盘组。如下图所示：安装部署手册此文档仅供参考41.3.2 Segment服 务 器 配 置Segment服务器配置为1张阵列卡，24块2.5寸的900GB 的10000转速的sas硬盘。每台服务器2块硬盘做一组RAID10安装操作系统，预留两块盘作为全局热备盘，剩下20块硬盘分为2组，做成2个RAID5磁盘组。RAID组条带大小为128KB，写cache策略为“WRITE BACK”，读磁盘策略设置为“READ AHEAD”，电池充放电时写磁盘策略仍为“

7、WRITE BACK”。如下图所示：安装部署手册此文档仅供参考5第 二 章 GP软 件 环 境 部 署2.1操作系统环境安装部署2.2.1 BIOS设 置 开 启 超 线 程进入BIOS功能界面，开启BIOS 超线程验证BIOS超线程设置合规性：A: grep i cpu cores | /proc/cpuinfo |wc lB: grep i processor | /proc/cpuinfo |wc l检查结果：步骤B执行结果是步骤A的两倍。操 作 系 统 安 装 设 置2.2.2 安 装 操 作 系 统 基 础 包操作系统版本：Redhat Enterprise Linux Server

8、 6 (64bit) 以上版本要求：选择“最小”软件组方式安装Red Hat Enterprise Linux选中“现在自定义”选项，选择安装其他系统工具包。验证操作系统版本合规性：执行命令：uname a执行结果(例)：Linux by19sorsvdb1001 2.6.32-279.e16.x86_64 2.2.3 安 装 系 统 语 言要求：操作系统安装过程中，请安装以下语言支持。POSIX C 和 en_US.utf8 locales 在安装操作系统时安装。即The POSIX C 安装部署手册此文档仅供参考6and en_US.utf8 locales must be install

9、ed during the OS installation. Additional locales may be installed as necessary to suit the customer.以 English(English)作为操作系统安装/登录时采用的语言。除英文环境，在安装附加语言支持时，选择简体中文。即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5，等中文语言包需要在安装操作系统时一并安装。验证语言支持包合规性：执行命令：locale a执行结果：POSIX_Cen_US.UTF-8zh_CN.UTF8zh_CN.gbkzh_CN

10、.gb18030zh_CN.BIG5.2.2.4 安 装 系 统 工 具 包组件名称 组件功能 版本要求 验证检查Kdump 系统信息转储工具与操作系统相同版本Service kdump statusWhich kdumpNtp 时间同步服务 与操作系统相同版本Service ntpd statusPerl Perl语言工具包与操作系统相同版本Perl -versionTcpdump 网络数据采集 与操作系统相同版 which Tcpdump安装部署手册此文档仅供参考7分析工具 本Unzip/zlib5 解压工具 与操作系统相同版本which UnzipXfsdump Xfs文件系统工具与操作

11、系统相同版本which XfsdumpXfsprogs Xfs文件系统工具与操作系统相同版本which xfssprogsed.x86_64 Ed编辑器 与操作系统相同版本which edjdk-6u43-linux-x64-rpm Jdk工具，从Oracle下载安装与操作系统相同版本jdk versionipmi/ipmitool 远程管理诊断工具与操作系统相同版本ipmitool -VGdb 程序运行时调试工具与操作系统相同版本which gdbPstack 程序运行时调试工具（依赖于gdb）与操作系统相同版本which pstackNmon 系统性能监测工具与操作系统相同版本which

12、nmonhtop 系统性能监测工具与操作系统相同版本which htopiotop 磁盘io监控工具与操作系统相同版本which iotopnethogs 网络监控工具 与操作系统相同版本which nethogsmegacli 磁盘监控工具 与操作系统相同版本which megaclilsinfo 磁盘监控工具 与操作系统相同版本which lsofifstat 网络监控工具 与操作系统相同版本which ifstatbbcp 网络拷贝工具 与操作系统相同版本which bbcpallgp gp监控工具 与gp数据库版本相同which allgpchhba 修改底下节点pg_hba.conf

13、与gp数据库版本相同which chhba安装部署手册此文档仅供参考8工具2.2.5 开 发 语 言 连 接 驱 动开发语言连接数据库需要特定的驱动，目前Greenplum与第三方开发语言连接方式有如下规范：Greenplum自带C/C+开发语言驱动，不需要安装任何驱动。Greenplum自带JDBC/ODBC连接驱动，开发语言可通过JDBC或ODBC连接数据库，例如 Java开发语言可通过JDBC连接数据库。对于自带有JDBC/ODBC连接驱动的开发语言，可直接通过自身的JDBC/ODBC连接数据库Python及Perl开发语言不能通过JDBC/ODBC连接数据库，需通过DBD连接，则要在安

14、装操作系统完成后独立部署安装。例如LDS及SOR数据库集群开发语言是Perl，则是需要安装如下DBD驱动软件包。postgresql-libs-8.4.11-1.el6_2.x86_64perl-DBI-1.609-4.el6.x86_64perl-DBD-Pg-2.15.1-3.el6.x86_642.2.6 时 区 配 置配置时区要求如下：选择时区为东八区“亚洲/上海 - 中国东部”Asia/Shanghai East China Beijing，Guangdong，Shanghai，etc.系统时钟不使用UTC验证时区配置合规性：执行命令：date执行结果：Wed Nov 13 11:0

15、7:09 CST 2013安装部署手册此文档仅供参考92.2.7 文 件 系 统 和 分 区 配 置操作系统使用的文件系统，包括根目录、tmp目录、home目录都采用ext3或者ext4；GP数据库使用的文件系统都采用xfs文件系统，并且需要配置挂载参数“rw,noatime,inode64,allocsize=16m”。由于master和segment主机配置不相同，在划分分区，格式化文件系统，文件系统挂载都有差异，具体操作如下：【master服务器】：1、在独立的raid5组上创建gpt分区：parted -s /dev/sdb mklabel gptparted - /dev/sdb m

16、kpart primary 0GB -1 partprobe /dev/sdb2、格式化分区mkfs -t xfs -f -L /data /dev/sdb13、vi /etc/fstab，增加挂载点配置，路径为/dataLABEL=/data /data xfs rw,noatime,inode64,allocsize=16m 0 04、挂在文件系统mount /data【segment服务器】：1、在独立的raid5组上创建gpt分区：parted -s /dev/sdb mklabel gptparted - /dev/sdb mkpart primary 0GB -1 partprobe /dev/sdbparted -s /dev/sdc mklabel gptparted - /dev/sdc mkpart primary 0GB -1partprobe /dev/sdc2、格式化分区mkfs -t xfs -f -L /data1 /dev/sdb1