1、文档编号：Boya-01文档类别：实施文档系统实施方案北京信息化部公司系统实施方案xx软件股份有限公司2019年10月北京信息化部公司系统实施方案”系统实施方案 目 录第一章 需求总体分析61. 总体需求描述61.1 应用服务器需求61.2 第三方软件产品需求71.3 项目实施进度要求72. 需求分析7第二章 系统详细设计方案91. 系统总体设计92. 设备配置表10第三章 系统实施方案121. 服务器安装调试方案12l服务器上架121.1 服务器调试132. Oracle RAC部署实施方案132.1 硬件环境：132.2 软件环境132.3 网络环境142.4 IP地址划分142.5 共享
2、磁盘划分152.6 实施步骤152.7 系统环境准备152.8 安装Oracle Clusterware322.9 Clusterware版本升级462.10 安装Oracle数据库软件462.11 数据库版本升级572.12 配置Oracle Net572.13 创建RAC数据库632.14 确认TNS配置902.15 测试RAC913. 交易中间件实施方案943.1 建用户及目录943.2 安装943.3 部署例子974. Rose HA实施方案994.1 准备工作994.2 RoseMirror的安装994.3 RoseMirror的配置1034.4 进行双机测试工作1175. IBM
3、B24激活1176. IBM DS5020磁盘阵列空间映射划分1176.1 创建主机组1176.2 创建主机1206.3 映射磁盘130第四章 施工组织计划1321. 工程概述1322. 工程范围界定1323. 施工团队1324. 曙光实施团队1335. 工程进度计划1336. 工程实施组织计划1346.1 到货验收1346.2 设备加电测试/设备集中配置1356.3 线下模拟测试1366.4 设备安装培训1366.5 服务器设备安装调试1376.6 设备分发/安装/连通1386.7 系统联调1396.8 系统集中测试1396.9 工程实施总结140第五章 工程验收计划1411. 初步验收14
4、11.1 验收时间1411.2 验收依据1411.3 验收步骤1411.4 验收成果1412. 最终验收1412.1 验收时间1412.2 验收依据1412.3 验收步骤1412.4 验收成果142第六章 培训计划1431. 项目培训方案1431.1 培训目标1431.1 培训方式、地点及人数1441.2 高性能计算培训课程内容144第七章 风险分析及应对措施147第八章 用户需提供的1481. 数据和安装软件需提供的1482. 服务器安装需提供的1483. 操作系统及其他数据库和中间件软件介质提供1484. 第三方协助1485. IP地址及Vlan划定分配148图例索引图 1总体新增图9图
5、2总体架构10图 3服务器上架图12图 4Oracle RAC部署图14表格索引表 1设备具体配置表10表 2xx公司实施团队133表 3厂家实施成员134表 4工程进度表134表 5到货验收工作安排135表 6到货验收工作步骤135表 7设备加电测试工作安排136表 8设备加电测试工作步骤136表 9加电测试工作成果137表 10模拟测试工作安排137表 11模拟测试工作步骤137表 12模拟测试工作成果137表 13设备安装培训工作安排138表 14设备安装培训工作步骤138表 15设备安装培训工作成果138表 16服务器安装调试工作安排138表 17服务器安装调试工作步骤139表 18现
6、场施工工作安排139表 19现场施工工作步骤139表 20现场施工工作成果140表 21系统联调工作安排140表 22系统集中测试工作安排140表 23系统集中测试工作步骤140表 24系统集中测试工作成果141表 25工程实施总结工作安排141表 26风险分析及应对措施148 第 5页 共149页“北京信息化部公司系统实施方案”系统实施方案 第一章 需求总体分析1. 总体需求描述1.1 应用服务器需求本次招标采购的服务器部署网络拓扑结构主要如下图所示：(1) 2台作为数据库服务器，部署ORACLERAC组成数据库集群；集成商负责操作系统、ORACLE数据库系统的安装调试；(2) 2台作为交易
7、中间件服务器，形成双机热备，集成商需要负责操作系统、TUXEDO交易中间件、双机热备系统的安装调试；(3) 6台服务器主要运行柜面应用（2台）、网银应用（2台）、电子签章、征信业务平台。每台主机安装3块硬盘（RAID5）。集成商需要负责操作系统、weblogic安装与调试；(4) 2台共享存储服务器形成双机热备，需要访问已有共享存储设备，集成商需要负责操作系统、双机热备系统的安装调试。(5) 2台IBM B24光纤交换机8口激活许可及8口8G光纤模块。(6) 服务器使用光纤交换机及现有SVC控制器挂载磁盘阵列，支持SAN存储网络，集成商须负责提供部署实施、技术支持以及后期维护服务。(7) 所有
8、设备搭建利用已有网络环境；(8) 服务器设备优先选择国产品牌；1.2 第三方软件产品需求本项目所需购买的第三方软件产品主要包括：双机热备软件。集成商须负责提供部署实施、技术支持以及后期维护服务。1.3 项目实施进度要求1、采购设备需在合同签订后天内到货；2、设备在合同签订后天内完成安装调试及测试工作；2. 需求分析此次项目建设需求落实到设备表上如下：序号名称配置数量单位1.数据库服务器（曙光I950r-G）8*Intel XeonE7-8837(2.66GHz/8c)/6.4GT/24ML3；128G DDR3；15K 300G SAS*2，RAID 1；4*1000M ；8GB 单口 HBA
9、卡*2；冗余电源；光驱、导轨；Linux系统；机架式，三年7*24现场保修2台2.交易中间件服务器（曙光I950r-G）8*Intel XeonE7-8837(2.66GHz/8c)/6.4GT/24ML3；128G DDR3；15K 300G SAS*2，RAID 1；4*1000M ；8GB 单口 HBA卡*2；冗余电源；光驱、导轨；Linux系统；机架式，三年7*24现场保修（通过软件实现双机热备）2台3.应用系统服务器（曙光I840r-GP）4*Intel XeonE7-4820(2.00GHz/8c)/5.86GT/18ML3；128G 内存；15K 300G SAS*3，RAID
10、5；4*1000M ；8GB 单口 HBA卡*2；光驱；冗余电源；机架式，三年7*24现场保修6台4.共享存储服务器（曙光I420-G10）2*Intel XeonE5-2420(1.90GHz/6c)/7.2GT/15ML3；8G内存；300G SAS*2，RAID 1；2*1000M ；8GB 单口 HBA卡*2；光驱、导轨；双电源；机架式，三年7*24现场保修（通过软件实现双机热备）2台5.IBM B24授权扩容8口激活许可，8口光纤模块，8根线缆2台6.双机热备软件（Rose HA）用于交易中间件服务器及共享存储服务器，要求能够达到较好的稳定性、可靠性，能够在一台服务器宕机时迅速启动另
11、外一台服务器接管服务2套第二章 系统详细设计方案1. 系统总体设计本次采购服务器加入到xxxxx公司总体拓扑图中如下图所示：12台新增曙光服务器分为Oracle RAC服务器2台，交易中间件服务器2台，应用服务器6台及共享存储服务器2台。本次项目建设内容为汽车金融业务系统硬件平台建设，具体总体拓扑图如下：图 1 总体架构根据上图所示：汽车金融业务系统硬件平台分为几个部分：1、交易中间件集群配置2台八路服务器安装操作系统、交易中间件、双机热备系统，完成交易。其中双机热备软件选购ROSE HA双机热备软件，需要挂载共享存储。本方案通过2台八路服务器HBA卡连接共享存储IBM5020实现双机热备。2
12、、数据库集群配置2台高性能八路服务器安装操作系统、oracle rac，需要通过服务器HBA卡连接共享存储，实现结构化数据的管理。3、共享存储服务器集群配置2台双路服务器安装部署附件上传等应用，通过服务器HBA卡连接共享存储，实现非结构化数据的存储及管理。4、应用服务器集群6台服务器主要运行柜面应用集群（2台）、网银应用集群（2台）、电子签章（1台）、征信业务平台（1台）。每台主机安装3块硬盘（RAID5）。5、共享存储共享存储采用利旧设备IBM5020，同时配备IBM3400做同步镜像的复制，保证数据安全。2. 设备配置表表 1 设备具体配置表序号名称技术规格单位高度（U)数量1硬件部分1.
13、1计算子系统数据库服务器曙光I950r-G5U机架式服务器；8*Intel XEONE7-8837八核处理器(主频2.66GHz)；16*8GB DDR3 ECC内存；2*300GB 15000转 SAS热插拔硬盘；1*512MB八通道6Gb SAS RAID卡（RAID1）；集成双口千兆以太网接口，1*双口千兆网卡； 1*超薄DVD-RW光驱 ；1*上架导轨；2*单口8Gb PCI-E 光纤HBA卡； 2+2冗余电源； 预装正版Linux正版操作系统； 服务承诺:五年免费人工现场服务，7*24，当天4小时响应，硬盘免回收台52交易中间件服务器曙光I950r-G5U机架式服务器；8*Intel
14、 XEONE7-8837八核处理器(主频2.66GHz)；16*8GB DDR3 ECC内存；2*300GB 15000转 SAS热插拔硬盘；1*512MB八通道6Gb SAS RAID卡（RAID1）；集成双口千兆以太网接口，1*双口千兆网卡； 1*超薄DVD-RW光驱 ；1*上架导轨；2*单口8Gb PCI-E 光纤HBA卡； 2+2冗余电源； 通过软件实现双机热备； 预装正版Linux正版操作系统； 服务承诺:五年免费人工现场服务，7*24，当天4小时响应，硬盘免回收台52应用系统服务器曙光I840r-GP4U机架式服务器；4*Intel Xeon E7-4820八核处理器(主频2.0G
15、Hz)；16*8GB DDR3 ECC内存；3*300GB15000转 SAS热插拔硬盘；1*512MB八通道6Gb SAS RAID卡（RAID5）；4*千兆以太网接口；1*超薄DVD-RW光驱 2*单口8Gb PCI-E 光纤HBA卡； 2+2冗余电源； 服务承诺:五年免费人工现场服务，7*24，当天4小时响应，硬盘免回收台46共享存储服务器曙光I420-G102U机架式服务器；2* XeonE5-2420 六核处理器(主频1.9GHz)；2*8GB DDR3 ECC内存；2*300GB 2.5吋10000转 SAS热插拔硬盘；1*512MB八通道6Gb SAS RAID卡（RAID1）；
16、2*千兆以太网接口； 1*超薄DVD-RW光驱 ；上架导轨2*单口8Gb PCI-E 光纤HBA卡； 1+1冗余电源； 通过软件实现双机热备； 服务承诺:五年免费人工现场服务，7*24，当天4小时响应，硬盘免回收台22双机热备软件ROSE HA双机热备软件ROSE HA双机热备软件套4第三章 系统实施方案1. 服务器安装调试方案l 服务器上架图 2 服务器上架图如上图所示，需要增加2个服务器机柜，2个机柜的顶部分别需要配置一个配线架及一个光纤架，用于前兆网络的链接及与IBM B24 SAN光纤交换机链接，接入xx公司内网和存储光纤网络中。其中2台oracle RAC服务器、2台交易中间件服务器
17、及2台存储共享服务器接入SAN中，其他服务器接入内网，不用接入SAN。1.1 服务器调试等服务器都上架安装及加电成功后，由厂家人员现场安装Rad hat linux操作系统及做其他的配置。2. Oracle RAC部署实施方案2.1 硬件环境： 服务器：曙光I950r-G 客户端：PC2.2 软件环境 操作系统：Red hat 6.x 软件应用： linux_11gR1_database_1013.zip linux_x86_11gR1_clusterware.zip oracleasmlib-2.0.4-1.el5.i386.rpm oracleasm-2.6.18-194.11.1.el5
18、-2.0.5-1.el5.i686.rpm oracleasm-support-2.1.3-1.el5.i386.rpm2.3 网络环境2.3.1 网络结构图图 3 Oracle RAC部署图2.4 IP地址划分 db1：主数据库服务器 db2：备数据库服务器主机名网卡IP地址备注db1eth0192.168.100.100公网IPdb1N/A192.168.100.101虚拟IPdb1eth110.0.0.1私有IPdb2eth0192.168.100.200公网IPdb2N/A192.168.100.201虚拟IPdb2eth110.0.0.2私有IP2.5 共享磁盘划分2.6 实施步骤2
19、.7 系统环境准备2.7.1 配置主机解析文件 主数据库节点： 备数据库节点： 修改完hosts文件以后，重起network服务2.7.2 检查所需软件包 在每个节点上做以下配置信息，查看依赖的rpm包是否安装: make binutils libaio-devel libaio elfutils-libelf-devel compat-libstdc+-33 libgcc gcc gcc-c+ glibc sysstat libstdc+ libstdc+-devel unixODBC-devel unixODBC2.7.3 配置系统内核参数rootdb1 # tail -n 20 /etc
20、/sysctl.confkernel.shmall = 2097152kernel.shmmax = 4294967295kernel.shmmni = 4096kernel.sem = 250 32000 100 128fs.file-max = 165536net.ipv4.ip_local_port_range = 1024 65000net.core.rmem_default = 1048576net.core.rmem_max = 1048576net.core.wmem_default = 262144net.core.wmem_max = 262144rootdb1 #sysct
21、l p2.7.4 设置 Shell对Oracle用户的限制 以root用户身份，在每个节点上执行相同的操作：首先，修改/etc/security/limits.conf，在文件最后添加如下内容：oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536接着，修改/etc/pam.d/login，在文件最后添加如下内容：session required /lib/security/pam_limits.so最后，修改/etc/profile，在文件最后添加如下内容：if
22、$USER = oracle ; then if $SHELL = /bin/ksh ; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi 所有修改完毕，重启所有Linux系统。2.7.5 配置hangcheck-timer内核模块 以root用户身份执行，在所有节点上做如下配置 ：查看模块是否存在： rootdb1 #find /lib/modules -name hangcheck-timer.ko 接着，编辑/etc/modprobe.conf：rootdb1 # vi /etc/modpro
23、be.conf 在文件的末尾加入一行：options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180 然后，将hangcheck-timer模块配置为自启动：rootdb1 #vi /etc/rc.d/rc.local 在文件的末尾加入一行： /sbin/modprobe hangcheck_timer 接着，启动hangcheck： rootdb1 # /sbin/modprobe hangcheck_timer 最后，检查hangcheck是否成功启动：rootdb1 #grep hangcheck /var/log/messa
24、ges | tail -2 Aug 26 19:08:17 Mysql1 kernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 30 seconds, margin is 180 seconds).如果显示上面输出信息说明已经成功启动hangcheck。 2.7.6 配置系统安全设置关闭iptables，可以直接执行如下命令：rootdb1 # iptables Frootdb1 # /etc/init.d/iptables save最后，将selinux禁用即可，也就是修改/etc/selinux/config文件，修改后的内容
25、为：SELINUX=disabledSELINUXTYPE=targeted2.7.7 配置NTP 主数据库服务器配置：编辑/etc/ntp.conf server 127.127.1.0 fudge 127.127.1.0 stratum 8 driftfile /var/lib/ntp/drift 启动ntpserver service ntpd start 添加到系统自启动 chkconfig -level 12345 ntpd on 备服务器配置： rootdb2 # crontab e* * * * * /usr/sbin/ntpdate 192.168.100.1002.7.8 创
26、建Oracle用户和组在安装进行之前，需要创建两个用户组和一个用户，分别用于oracle安装和oracle管理，在两个节点执行相同的操作，操作如下：rootdb1 #groupadd g 1001 dba rootdb1 #groupadd g 1002 oinstall rootdb1 #useradd -u 1001 -g oinstall -G dba oracle然后，给oracle用户设置密码：rootdb1 # passwd oracle最后，确认匿名用户nobody是否存在于系统中，因为在安装完成后nobody用户需要执行一些扩展任务：rootdb1 # id nobodyuid
27、=99(nobody) gid=99(nobody) groups=99(nobody)2.7.9 设置Oracle用户环境(.bash_profile)变量 主数据库：export ORACLE_BASE=/u01/oracle export ORACLE_HOME=$ORACLE_BASE/product/11.0.6/rac_db export ORA_CRS_HOME=/app/crs/product/11.0.6/crs export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin expor
28、t ORACLE_SID=db1export NLS_LANG=AMERICAN_AMERICA.zhs16gbk export NLS_DATE_FORMAT=YYYY-MM-DD HH24:MI:SS export PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin export PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=$PATH:$ORACLE_BASE/common/oracle/bin export ORACLE_TERM=xter
29、m export TNS_ADMIN=$ORACLE_HOME/network/admin export ORA_NLS10=$ORACLE_HOME/nls/data export LD_LIBRARY_PATH=$ORACLE_HOME/lib export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/oracm/lib export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/lib:/usr/lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE export CL
30、ASSPATH=$CLASSPATH:$ORACLE_HOME/jlib export CLASSPATH=$CLASSPATH:$ORACLE_HOME/rdbms/jlib export CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlib export THREADS_FLAG=native export TEMP=/tmp export TMPDIR=/tmp 备数据库：export ORACLE_BASE=/u01/oracle export ORACLE_HOME=$ORACLE_BASE/product/11.0.6/rac_db expo
31、rt ORA_CRS_HOME=/app/crs/product/11.0.6/crs export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/amin export ORACLE_SID=db2export NLS_LANG=AMERICAN_AMERICA.zhs16gbk export NLS_DATE_FORMAT=YYYY-MM-DD HH24:MI:SS export PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin export
32、PATH=$PATH:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin export PATH=$PATH:$ORACLE_BASE/common/oracle/bin export ORACLE_TERM=xterm export TNS_ADMIN=$ORACLE_HOME/network/admin export ORA_NLS10=$ORACLE_HOME/nls/data export LD_LIBRARY_PATH=$ORACLE_HOME/lib export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HO
33、ME/oracm/lib export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/lib:/usr/lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE export CLASSPATH=$CLASSPATH:$ORACLE_HOME/jlib export CLASSPATH=$CLASSPATH:$ORACLE_HOME/rdbms/jlib export CLASSPATH=$CLASSPATH:$ORACLE_HOME/network/jlib export THREADS_FLAG=native expor
34、t TEMP=/tmp export TMPDIR=/tmp 2.7.10 在各节点上创建目录rootdb1 # mkdir -p /u01/oracle/product/11.0.6/rac_db rootdb1 # mkdir -p /app/crs/product/11.0.6/crs rootdb1 # chown -R oracle:oinstall /u01/oraclerootdb1 #chown -R oracle:oinstall /app rootdb1 /# chown -R oracle:oinstall u01/rootdb1 /# chmod -R 755 u01/
35、rootdb1 /# chown -R oracle:oinstall app/rootdb1 /# chmod -R 755 app/2.7.11 配置节点间SSH信任 在每个节点上创建 RSA密钥和公钥 以 oracle 用户登录在 oracle用户的根目录内创建.ssh目录并设置读取权限 oracledb1 $ mkdir /.ssh oracledb1 $ chmod 700 /.ssh 使用ssh-keygen命令生成基于SSH协议的RSA密钥oracledb1 $ cd /.ssh oracledb1 .ssh$ ssh-keygen -t rsa Generating publi
36、c/private rsa key pair.Enter file in which to save the key (/home/oracle/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/oracle/.ssh/id_rsa.Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.The key finger
37、print is:dd:69:5a:aa:e6:85:88:a4:07:72:ab:15:7b:3b:4a:77 oracledb1 在提示保存私钥（key）和公钥（public key）的位置时，选择使用默认值，然后依次直接回车即可。 整合公钥文件 以 Oracle 用户登录在要执行Oracle安装程序的节点db1 上执行如下操作： oracledb1 $ cd /.ssh oracledb1 .ssh$ ssh db1 cat /home/oracle/.ssh/id_rsa.pub authorized_keys oracledb1 .ssh$ ssh db2 cat /home/ora
38、cle/.ssh/id_rsa.pub authorized_keys oracledb1 .ssh$ chmod 600 /.ssh/authorized_keys oracledb1 .ssh$scp authorized_keys db2:/home/oracle/.ssh/这个操作过程是将两个节点生成的公钥文件整合为一个authorized_keys文件，然后进行授权，并将authorized_keys拷贝到另一个节点。 测试SSH互信 首先在db1节点上执行： oracledb1 $ ssh db1 date oracledb1 $ ssh db2 date 然后在db2节点上执行
39、oracledb2 $ ssh db1 date oracledb2 $ ssh db2 date 2.7.12 创建共享磁盘由于没有物理存储磁盘可用，在此用vmware虚拟磁盘进行模拟：在存有较大容量的磁盘上建立一个共享文件夹share，将vmware安装的文件夹下的下列文件拷贝到share目录下：vmware-vdiskmanager.exevmcryptolib.dllssleay32.dlllibeay32.dll 建立共享磁盘文件：vmware-vdiskmanager.exe -c -s 15Gb -a lsilogic -t 2 sdb.vmdkvmware-vdiskmanag
40、er.exe -c -s 30Gb -a lsilogic -t 2 sdc.vmdk 点击db1的”edit virtual machine setting”，按以下步骤操作： 选择一个已存在的虚拟磁盘： 指定虚拟磁盘文件路径： 点击下一步： 点击advanced，修改磁盘共享总线：/dev/sdc也按以上方法操作。 配置db1和db2的vmx文件，增加如下内容信息scsi1.present = TRUEscsi1.virtualDev = lsilogic scsi1.sharedBus = VIRTUALscsi1:1.present = TRUEscsi1:1.mode = indep
41、endent-persistentscsi1:1.fileName = D:vmsharedisksdb.vmdkscsi1:1.deviceType = diskscsi1:2.present = TRUEscsi1:2.mode = independent-persistentscsi1:2.fileName = D:vmsharedisksdc.vmdkscsi1:2.deviceType = diskdisk.locking = FALSEdiskLib.dataCacheMaxSize = 0 diskLib.dataCacheMaxReadAheadSize = 0 diskLib
42、.dataCacheMinReadAheadSize = 0 diskLib.dataCachePageSize = 4096 diskLib.maxUnsyncedWrites = 0 登录系统后，根据共享存储规划进行分区： 执行完之后显示如下： 主数据库： 备数据库：2.7.13 建立和配置raw设备通过udev来管理raw，添加raw设备对应的配置文件为/etc/udev/rules.d/60-raw.rules。ACTION=add,KERNEL=sdb5,RUN+=/bin/raw /dev/raw/raw1 %NACTION=add,KERNEL=sdb6,RUN+=/bin/raw /dev/raw/raw2 %NACTION=add,KERNEL=sdb7,RUN+=/bin/raw /dev/raw/raw3 %NACTION=add,KERNEL=sdb8,RUN+=/bin/raw /dev/raw/raw4 %NACTION=add
