EasyHadoop 111安装使用手册.doc

1、EasyHadoop 1.1.1 安装使用手册架构设计 : 向磊编所有程 : 向磊前端与用户界面设计 : 向磊手册编写 : 向磊用到的语言和框架 : jQuery, Bootstrap(Twitter), CodeIginter(php), Python, Shell.名词解释：LNMP : Linux Nginx, Mysql, PhpLAMP: Linux Apache, Mysql, PhpCentral: EasyHadoop 的 web 管理界面，通常放在一台服务器上Agent/NodeAgent: EasyHadoop 的操作代理，需要放在每台服务器上1、安装前的准备工作1. 服务

2、器:可用的 x86 64 位的台式机或服务器2. 操作系统:CentOS/RedHat 5 或者 CentOS/RedHat 63. 环境依赖:EasyHadoop 1.1.1 采用 CodeIgniter 框架编写，该框架基于 php5，且需要使用Mysql 保存服务器信息和配置信息等元数据。所以要运行 EasyHadoop，至少需要一台正确配置了 LAMP 或 LNMP 的服务器。(解释：LAMP = Linux, Apache, Mysql, Php， LNMP = Linux, Nginx, Mysql, Php)所以，在安装 EasyHadoop 之前，请确保正确配置了基于 LAMP

3、 或 LNMP 的webserver。2、开始安装 EasyHadoopManager 系统1. 获取源码从 或 下载链接处获取 EasyHadoop 源码，该源码应当分为两部分，Central 和 Agent，其中 Central 是管理界面，Agent 为操作代理。2. 安装 Central只需将 Central 中的全部代码上传到你的 LAMP 服务器上即可，调整你的浏览器或 WebServer，直到你看到出现登录界面为止。这里有一点需要注意：如果你使用 LAMP，你不需要对 WebServer 和源码作出任何调整。但如果你使用 LNMP 服务器，鉴于 Nginx 对于 rewrite

4、 方面的差异，你可能需要调整 Nginx 的配置和 CodeIgniter 中的设置。Nginx:location / # Check if a file exists, or route it to index.php.try_files $uri $uri/ /index.php;打开 Cental/application/config/config.php将$configbase_url = ;修改为你的 web 访问的根路径，例如$configbase_url = http:/172.16.1.1/;或者$configbase_url = http:/172.16.1.1/EasyHa

5、doopCentral/记得要带除号作为 url 结尾打开 Central/application/config/database.php将数据库相关的配置进行修改，让 php 可以访问你的 mysql 数据库回到命令行下运行:#mysql -uxxx -pxxxmysql create database easyhadoop;mysql exit;#mysql -uxxx -pxxx easyhadoop easyhadoop.sql访问你的 web 界面，初始的用户名和密码是：admin1234563. 安装 NodeAgent将 EasyHadoopNodeAgent / NodeAge

6、nt.py 发送到每台你需要安装 Hadoop 的节点上去(我正在编写自动发送脚本，不过在这之前，你还是需要手动操作，这样也更利于你理解 Agent 和 Central 之间的工作方式)。你可以用两种方式手工启动 Agent，给这个脚本加可运行权限或直接用 python 执行Localhost #chmod +x NodeAgent.pyLocalhost #./NodeAgent.py -s start或者Localhost #python ./NodeAgent.py -s start(NodeAgent 支持 python 2.4 - 2.7，无需修改以适应版本差异)4. NodeAge

7、nt 的说明NodeAgent 操作代理有两个启动选项，其中一个是必须填写的，另外一个则是可选项。不过基于安全访问的考虑，我建议你还是写上，这可能会麻烦些，但是会更安全。-s 选项: 发送启动和停止信号，合法的操作包括 start 和 stop例如#python ./NodeAgent.py -s start (启动 Agent 进程)#python ./NodeAgent.py -s stop (停止 Agent 进程)-b 选项: 设定你所需要绑定的 IP，这是一个可选的选项，可以更安全的将 Agent绑定到内网的 IP 或者 VPN 的 IP 上。例如#python ./NodeAgen

8、t.py -s start -b 192.168.1.2 (启动 Agent，并绑定监听在192.168.1.2 的 IP 上)如果不填写 -b 选项，Agent 将监听在 0.0.0.0 尽管 Agent 和 Central 本身不使用明文进行数据交换，但是这仍然是不安全的，作为建议，还是加上-b 选项并绑定在某个内网 ip 上。3、开始操作 EasyHadoop 配置 Hadoop 系统1. 首先是登录系统初始安装的用户名是admin密码是123456登入进去后请点击用户管理即刻修改密码2. 登录进入之后，首先选择添加 hadoop绿色部分为 Agent 状态监控，Agent 启动则显示上

9、箭头和绿色，未启动则显示下箭头和黄色。点击添加后应出现该层，写入正确的 hostname 和 IP 地址，并选择该节点所担负的角色，点击提交添加。3. 修改节点点击每个节点后面的白色修改节点按钮修改该节点的 hostname,ip 和所担负的角色。4. 删除节点除非你确认该节点确实需要删除，否则请不要随意点，删除节点将停止该节点的所有 Hadoop 服务进程，并从元数据中将该节点删除，此操作不可恢复，请谨慎操作。5. 节点配置管理这里是管理 Hadoop 的配置项，通常我们会用到 core-site.xml, hdfs-site.xml,mapred-site.xml，比较少见的情况是需要用到

10、 hadoop-env.sh 和 xxx-scheduler.xml，以上这些 Hadoop 配置项均可在这里管理。这里还提供了一个工具，用以自动生成和推送节点的/etc/hosts 文件。这个工具无需人工干涉，但是需要注意，无论是推送 hosts 文件还是配置项，该操作均不可被撤销，一旦推送，所有节点的配置都将更新，所以请谨慎操作。点击提交保存配置这个工具是根据元数据中的主机列表自动生成，不可修改。如需修改，请在主机管理里面修改主机相关数据。推送 host 文件点击红色提交后应出现该列表，否则请检查 Central 与 Agent 是否正常连接上图中三个红色框位置分别是推送配置，修改配置文件

11、和删除配置文件，请谨慎操作，当你修改完配置文件并确认无误之后，需要点击推送配置将修改过的配置文件推送给每台 hadoop 服务器。这个操作将会覆盖所有节点之前的配置，所以也请谨慎操作。删除配置将删除该配置的元数据，而不会删除 Hadoop 节点上的配置4、安装 Hadoop1. 提前下载 hadoop 安装文件是一个非常好的选择，这会大大加快你的部署速度。EasyHadoop 提供了一个工具脚本来帮你预先下载安装文件。放在Central/download.sh赋予这个脚本可执行权限并运行，会将所有需要的安装文件下载到 hadoop 文件夹中。2, 当所有文件下载完成，就可以点击推送和安装了。注意红色框的地方，你需要先将已下载的安装文件推送过去，然后才能开始点击安装hadoop，否则将无法安装。这里目前还是调试信息，但是可以看到已经推送成功了然后点击安装 Hadoop 按钮，点击提交，将可以看到一个进度条和详细的安装日志，EasyHadoop 会自动匹配 CentOS 5 或 6，选择相应的安装文件，无需用户干预。提交后可以看到一个进度条，当这个进度条走到 100%，即表示安装完成。安装中间你可以随时关闭该安装弹出界面，后端会自动记录安装进度，当你再次打开时，仍然可以看到安装的进度。