1、安装 HADOOP 集群服务器1. 规划功能 HOSTNAME IP 说明Master HDM01 192.168.1.1 Namenode 兼 datanode Slave HDS02 192.168.1.2 Datanode Slave HDS03 192.168.1.3 Datanode Client HDC04 192.168.1.4 HADOOP客户端(HDFS/HIVE)2. 环境2.1. 系统环境安装 centOS6.2 = 软件工作站（software Development Workstation）3. Hadoop 安装3.1. 安装和配置 SSH 、RSYNC( Root
2、 用户)安装 SSH和rsync 一般系统自带了；3.2. 创建 Hadoop 运行用户( Root 用户)一般我们不会经常使用root用户运行hadoop，所以要创建一个平常运行和管理Hadoop的用户； 创建hadoop用户和用户组useradd hadoopPS:master和slave节点机都要创建相同的用户和用户组，即在所有集群服务器上都要建hadoop用户和用户组。 3.3. 关闭防火墙( Root 用户)在启动前关闭集群中所有机器的防火墙，不然会出现 datanode开后又自动关闭。所以对集群所有服务器关闭防火墙：chkconfig iptables off查看防火墙状态：ser
3、vice iptables status永久关闭防火墙：chkconfig iptables off查看防火墙状态：chkconfig -list iptables3.4. 配置机器名和网络( Root用户) 配置HOSTNAMEvi /etc/sysconfig/network，修改：HOSTNAME=hmaster其他节点依次改为slave1，slave2.不过必须和上面一致验证; 输入命令 hostname 配置网络IPcd /etc/sysconfig/network-scriptsvi ifcfg-eth0（因为硬件不同，其中的“eth0”可能是其他名称） 配置IP和HOSTNAME
4、映射关系vi /etc/hosts rootNOAS # more /etc/hosts#127.0.0.1 localhost localhost.localdomain localhost4 #localhost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.1.1 HDM01192.168.1.2 HDS02192.168.1.3 HDS03192.168.1.4 HDC043.5. 配置非 root 用户免验证登录 SSH（ hadoop 用户）提示：L
5、inux配置ssh是通过欺骗登录用户名的。所以上面创建用户的时候，我们都把3个节点的username都设置成hadoop，主要是用户名必须一致在hadoop用户的home目录，即 cd /home/hadoop 下执行命令 用hadoop用户登录（第 一/二/三步分别在每一个节点上都要执行）第一步：ssh-keygen -t rsa -P -f /.ssh/id_rsa 意思是读取 id_dsa文件默认 全部是yes安装和root用户一样，会发现多处2个文件，一个是公开密匙，一个是访问用户名字信息的第二步：cat /.ssh/id_rsa.pub /.ssh/authorized_keys是把
6、暴露出来的公共密匙按顺序导入authorized_keys中保存第三步：chmod 700 /.sshchmod 600 /.ssh/authorized_keysssh机制很严谨，对文件的权限要求非常严格我们需要把.ssh文件夹的权限改为700 ，默认是777authorized_keys的权限这里是对的，600第四步：在主节点上执行下列命令ssh HDS02 cat /.ssh/id_rsa.pub /.ssh/authorized_keysssh HDS03 cat /.ssh/id_rsa.pub /.ssh/authorized_keysscp authorized_keys had
7、oopHDS02:/home/hadoop/.ssh/scp authorized_keys hadoopHDS03:/home/hadoop/.ssh/最终authorized_keys文件要有各个集群服务器的信息第五步：验证第一次会要求输入密码，完成后测试，每台机都要求能联通：ssh HDM01ssh HDS02ssh HDS03不输入密码 就表示成功了；3.6. 安装 JDK( hadoop 用户 )检查是否已安装JDK: rpm -qa|grep jdk 检查JAVA安装目录： whick java检查是否配置JAVA_HOME: env|grep JAVA_HOMEwhich jav
8、a 和 JAVA_HOME 路径不一致，是做了LINK映射rootNOAS # su - hadoophadoopNOAS $ rpm -qa|grep jdkjava-1.6.0-openjdk-javadoc-1.6.0.0-1.41.1.10.4.el6.x86_64java-1.6.0-openjdk-devel-1.6.0.0-1.41.1.10.4.el6.x86_64java-1.6.0-openjdk-1.6.0.0-1.41.1.10.4.el6.x86_64hadoopNOAS $ which java/usr/bin/javahadoopNOAS $ ls -l /usr
9、/bin/javalrwxrwxrwx. 1 root root 22 Feb 26 22:26 /usr/bin/java - /etc/alternatives/javahadoopNOAS $ ls -l /etc/alternatives/javalrwxrwxrwx. 1 root root 46 Feb 26 22:26 /etc/alternatives/java - /usr/lib/jvm/jre-1.6.0-openjdk.x86_64/bin/javahadoopNOAS $ env|grep JAVA_HOMEJAVA_HOME=/usr/lib/jvm/jre-1.6
10、.0-openjdk.x86_64在当前用户配置JAVA_HOME,在.bash_profile文件增加蓝色部分，最后 source /home/hadoop/.bash_profile ，使生效hadoopNOAS $ cd /home/hadoop/hadoopNOAS $ more .bash_profile# .bash_profile# Get the aliases and functionsif -f /.bashrc ; then. /.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOM
11、E/binexport PATHJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64PATH=$JAVA_HOME/bin:$PATHCLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOMEexport PATHexport CLASSPATHhadoopNOAS $ 3.7. 安装 Hadoop( root 用户 )3.7.1. 安装 rpm 包：用rpm包安装，目录都是默认的比较规范用root用户： rpm -ivh /opt/colu
12、d/hadoop-1.2.1-1.x86_64.rpm3.7.2. 配置 Hadoop 配置文件(每台机器服务器都要配置，且都是一样的，配置完一台其他的只需要拷贝,每台机上的core-site.xml和mapred-site.xml都是配master服务器的hostname，因为都是配置hadoop的入口)core-site.xml：整个hadoop入口的配置vi /etc/hadoop/core-site.xml，配置如下内容：hadoop.tmp.dir /home/hadoop/tmp fs.default.name hdfs:/HDM01:9000 vi /etc/hadoop/hdf
13、s-site.xml，配置如下内容：dfs.replication2vi /etc/hadoop/mapred-site.xml，配置如下内容：mapred.job.tracker HDM01:9001 配置说明： core-site.xml hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/$user下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。修改该参数后要格式NAMENODE: hadoop namenode -format3.7.3. 配置 Hadoop 集群配置文件(只需要配置name
14、mode节点机,这里的HDM01即做namenode也兼datanode，一般情况namenode要求独立机器，namemode不兼datanode)vi /etc/hadoop/masters，配置如下内容：HDM01vi /etc/hadoop/slaves，配置如下内容：HDM01HDS02HDS033.7.4. 配置非 ROOT 用户权限 （包含用非root用户启动Hadoop所需的额外项） 将/usr/sbin/下的以下脚本文件的owner设为testusr，且赋给owner全权rwx :chown hadoop:hadoop /usr/sbin/hadoop-create-user
15、.shchown hadoop:hadoop /usr/sbin/hadoop-daemon.shchown hadoop:hadoop /usr/sbin/hadoop-daemons.shchown hadoop:hadoop /usr/sbin/hadoop-setup-applications.shchown hadoop:hadoop /usr/sbin/hadoop-setup-conf.shchown hadoop:hadoop /usr/sbin/hadoop-setup-hdfs.shchown hadoop:hadoop /usr/sbin/hadoop-setup-sin
16、gle-node.shchown hadoop:hadoop /usr/sbin/hadoop-validate-setup.shchown hadoop:hadoop /usr/sbin/rccchown hadoop:hadoop /usr/sbin/slaves.shchown hadoop:hadoop /usr/sbin/start-all.shchown hadoop:hadoop /usr/sbin/start-balancer.shchown hadoop:hadoop /usr/sbin/start-dfs.shchown hadoop:hadoop /usr/sbin/st
17、art-jobhistoryserver.shchown hadoop:hadoop /usr/sbin/start-mapred.shchown hadoop:hadoop /usr/sbin/stop-all.shchown hadoop:hadoop /usr/sbin/stop-balancer.shchown hadoop:hadoop /usr/sbin/stop-dfs.shchown hadoop:hadoop /usr/sbin/stop-jobhistoryserver.shchown hadoop:hadoop /usr/sbin/stop-mapred.shchown
18、hadoop:hadoop /usr/sbin/update-hadoop-env.shchmod u+rwx /usr/sbin/hadoop-create-user.shchmod u+rwx /usr/sbin/hadoop-daemon.shchmod u+rwx /usr/sbin/hadoop-daemons.shchmod u+rwx /usr/sbin/hadoop-setup-applications.shchmod u+rwx /usr/sbin/hadoop-setup-conf.shchmod u+rwx /usr/sbin/hadoop-setup-hdfs.shch
19、mod u+rwx /usr/sbin/hadoop-setup-single-node.shchmod u+rwx /usr/sbin/hadoop-validate-setup.shchmod u+rwx /usr/sbin/rccchmod u+rwx /usr/sbin/slaves.shchmod u+rwx /usr/sbin/start-all.shchmod u+rwx /usr/sbin/start-balancer.shchmod u+rwx /usr/sbin/start-dfs.shchmod u+rwx /usr/sbin/start-jobhistoryserver
20、.shchmod u+rwx /usr/sbin/start-mapred.shchmod u+rwx /usr/sbin/stop-all.shchmod u+rwx /usr/sbin/stop-balancer.shchmod u+rwx /usr/sbin/stop-dfs.shchmod u+rwx /usr/sbin/stop-jobhistoryserver.shchmod u+rwx /usr/sbin/stop-mapred.shchmod u+rwx /usr/sbin/update-hadoop-env.sh 将/usr/bin/下的hadoop设为所有人（不是其他人）可
21、读可执行。即chmod 555（不是chmod 005）chmod 555 /usr/bin/hadoop /var/log/hadoop/及其下（循环）的owner设为testusr，且赋给owner全权rwx/var/run/hadoop/及其下（循环）的owner设为testusr，且赋给owner全权rwx/home/hadoop/及其下（循环）的owner设为testusr，且owner权限设为“rwxr-xr-x”，设为更大权限不行，主要是因为/home/hadoop/tmp/dfs/data的权限需要为“rwxr-xr-x”chown -R hadoop:hadoop /var/
22、log/hadoop/ chown -R hadoop:hadoop /var/run/hadoop/chown -R hadoop:hadoop /home/hadoop/chmod -R u+rwx /var/log/hadoop/ chmod -R u+rwx /var/run/hadoop/chmod -R u+rwx /home/hadoop/3.7.5. 配置 HADOOP 的 JAVA 环境 配置Hadoop的java环境与env的JAVA_HOME保持一致,文件/etc/hadoop/hadoop-env.sh # The java implementation to use.
23、#export JAVA_HOME=/usr/java/defaultexport JAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64export HADOOP_CONF_DIR=$HADOOP_CONF_DIR:-“/etc/hadoop“3.8. 格式化 HDFS( hadoop 用户)hadoop namenode -format（用 hadoop用户）重新 format时，系统提示如下：Re-format filesystem in /home/hadoop/tmp/dfs/name ? (Y or N) 必须输入大写 Y，输入小写 y不会报
24、输入错误，但 format出错。chown -R hadoop:hadoop /home/hadoop/chmod -R 755 /home/hadoop/3.9. 启动 Hadoop( hadoop 用户)Hadoop用户登录 命令: start-all.sh (记得关闭所有的防火墙)3.9.1. 验证 hadoop （1）验证方法一：用“jps“ 命令在 Master 上用 java 自带的小工具 jps 查看 5 个进程都在。在 Slave1 上用 jps 查看进程。 如果在查看 Slave 机器中发现“DataNode“和“TaskTracker“没有起来时，先查看一下日志的，如果是“namespaceID“不一致问题，采用“常见问题 FAQ6.2“进行解决，如果是“No route to host“问题，采用“常见问题 FAQ6.3“进行解决。（2）验证方式二：用“hadoop dfsadmin -report“用这个命令可以查看 Hadoop 集群的状态。Master 服务器的状态：
