1、CDH5.4.7 安装部署手册、文档编号： 版 本 号： V1.0编 写： 审 核：修订记录版本号修订日期章节号修订内容修订人批准人目录1 软件介绍 .51.1 关于 CDH 和 Cloudera Manager.52 环境准备 .52.1 集群规划 .52.2 环境部署 .72.2.1 MySQL 下载 .72.2.2 JDK 下载 .72.2.3 CDH 下载 .72.2.4 JDK 的安装 (所有节点) .82.2.5 关闭防火墙（所有节点） .92.2.6 SSH 无密码登陆 （所有节点） .102.2.7 安装 NTP 时间同步服务（所有节点） .112.2.8 安装 MySQL .
2、143 Cloudera Manager 安装 .173.1 Cloudera Manager 安装 .173.1.1 master 配置 .183.1.2 agent 配置 .193.2 安装 Cloudera Manager 所需的 rpm 包 .203.2.1 安装 rpm 文件 .203.2.2 本地源配置 .213.3 启动 Cloudera Manager.223.3.1 开启 Cloudera Manager 5 Server 端 .223.3.2 重启 Cloudera Manager 5 Server 端 .233.3.3 启动 Agent .234 安装 CDH.235 C
3、M 卸载 .276 杂记：Namenode 和 Secondarynamenode 的关系 【转】 .271 软件介绍1.1 关于 CDH 和 Cloudera ManagerCM: Cloudera Manager （Cloudera 公司专有的 Hadoop 集群管控平台） 。CDH: Cloudera Distributed Hadoop（Cloudera 公司重新打包发布的 Hadoop 版本） 。Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 实现了一个
4、分布式文件系统（Hadoop Distributed File System） ，简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS 放宽了 POSIX 的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop 框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。2 环境准备2.1
5、集群规划IP 地址 主机名 角色172.19.21.11 c1n1 NN/ RM/ HMaster/ZKFC/JobHistoryServer172.19.21.12 c1n2 NN/ RM/ HMaster/ZKFC 172.19.21.13 c1d1 DN/ NM/ HRegionServer 172.19.21.14 c1d2 DN/ NM/ HRegionServer 172.19.21.15 c1d3 DN/ NM/ HRegionServer 172.19.21.16 c1d4 DN/ NM/ HRegionServer 172.19.21.17 c1d5 DN/ NM/ HReg
6、ionServer 172.19.21.18 c1d6 DN/ NM/ HRegionServer 172.19.21.19 c1d7 DN/ NM/ HRegionServer 172.19.21.20 c1d8 DN/ NM/ HRegionServer/ JN/ ZK172.19.21.21 c1d9 DN/ NM/ HRegionServer/ JN/ ZK172.19.21.22 c1d10 DN/ NM/ HRegionServer/ JN/ ZK 服务器配置：软硬件配置： 账号 密码主机型号 Dell PowerEdge R720物理机硬件配置(CPU/MEM)10C/64G物理
7、机硬件配置(DISK)1T 硬盘 x1550G 硬盘 x21Namenode、HmasterResourceManager172.19.21.11-172.19.21.122 台操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.4root big1data主机型号 Dell PowerEdge R620物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)1T 硬盘 x42Datanode、NodeManager、HRegionServer172.19.21.13-172.19.21.197 台操作系统及版本号RED HAT
8、ENTERPRISE LINUX SERVER RELEASE 6.4root big1data主机型号 Dell PowerEdge R620物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)1T 硬盘 x43Zookeeper172.19.21.20-172.19.21.223 台操作系统及版本号RED HAT ENTERPRISE root big1data软硬件配置： 账号 密码LINUX SERVER RELEASE 6.42.2 环境部署2.2.1 MySQL 下载（1）MySQL-client-5.6.25-1.el6.x86_64.rpm http:/ h
9、ttp:/ /3.1.1.3 中使用http:/ JDK 下载（1）jdk-7u71-linux-x64.tar.gzhttp:/ CDH 下载（1）cloudera-manager-el6-cm5.3.4_x86_64.tar.gzhttp:/archive- 包http:/ 文件http:/archive- JDK 的安装 (所有节点)安装好的 Centos 系统有时会自动安装 OpenJdk，用命令 java -version 查看1、删除 CentOS 自带的 JDK 查看当前 JDK rpm 包 #rpm -qa | grep jdkjava-1.7.0-openjdk-1.7.0.
10、45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64java-1.7.0-openjdk-devel-1.7.0.45-2.4.3.3.el6.x86_64java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 删除自带 JDK rpm -e -nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66
11、.1.13.0.el6.x86_64rpm -e -nodeps java-1.7.0-openjdk-devel-1.7.0.45-2.4.3.3.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 检查是否删除干净#rpm -qa | grep jdk2、安装目录/opt/jdk1.7.0_713、 安装 JDK首先将 jdk-7u71-linux-x64.tar.gz 解压tar -xzvf jdk-7u71-linux-x64.tar.gz -C /opt/4 、设置环境变量#vi /et
12、c/profileexport JAVA_HOME=/opt/jdk1.7.0_71export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$JAVA_HOME/libexport CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib5、使配置生效#source /etc/profile6、检查 JDK 安装java -version2.2.5 关闭防火墙（所有节点）防火墙会引起 hadoop 相关组件通讯的各种异常，需关闭防火墙。用 root 用户权限登录进行操作。1 、关闭防火墙#service iptables stop
13、验证：service iptables status#service iptables stop （临时关闭） #chkconfig iptables off （重启后生效）2、 关闭 selinuxselinux 是一种强制访问控制的实现vi /etc/selinux/configSELINUX=disabled3、验证使用 getenforce 命令查看是否关闭#getenforceDisabled4、绑定 IP 与主机名（所有节点）修改/etc/hosts在每台机器的/etc/hosts 中配置集群中各节点的 IP 和 IP 对应的机器名，具体内容如下：执行命令修改主机名修改/etc/s
14、ysconfig/network 文件：将各个节点的 hostname，修改为对应的主机名，便于区分。重启网络，使修改生效#service network restart2.2.6 SSH 无密码登陆 （所有节点）配置 ssh 互信的核心思想如下： 首先，在要配置互信的机器上，生成各自的经过认证的 key 文件； 其次，将所有的 key 文件汇总到一个总的认证文件中； 将这个包含了所有互信机器认证 key 的认证文件，分发到各个机器中去； 验证互信。 1、生成秘钥对#ssh-keygen -t rsa连续 3 个回车即可，不必输入2、分别改变/.ssh 目录和 authorized_keys 文件的权限（非 root 用户务必做，保证只有用户自己有写权限，否则免密码登录无效，root 用户不做）#chmod 700 /.ssh#chmod 600 /.ssh/authorized_keys （备注：root 用户省略此步骤）3、每个节点主机都重复以上步骤，并将各自的/.ssh/id_rsa.pub 文件的公钥拷贝至其他主机。hadoop2:scp /root/.ssh/id_rsa.pub hadoop1:root/.ssh/id_rsa.pub2hadoop3:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub3
