Posted on 2014-05-31 14:30
tangtb 阅读(2565)
评论(0) 编辑 收藏 所属分类:
Hadoop
之前漏掉了一些小细节，已经补上，不再修改内容，请直接下载附件
1. 安装环境
1) 操作系统
2) SSH连接工具：XShell及XManager
新建连接：点击窗口左上方“新建”按钮，在弹出窗口填写名称（自定义）及主机IP，如下图所示：
设置中文显示（中文乱码）：选择弹出窗口左侧“终端”菜单，右侧“终端类型”选择“linux”，“编码”选择“UTF-8”，如下图所示：
设置使用XManager：选择弹出窗口左侧“隧道”菜单，右侧”X11转移”选中“Xmanager”，如下图所示：‘
点击“确定”，输入用户名和密码，进入终端命令行，如下图所示：
3) 配置SecureCRTSecureFX
点击左上角”快速连接”快捷按钮，填写“主机名”和用户名，点击“连接”按钮，输入用户名对应密码，如下图所示：
选择“视图”菜单下的“本地窗口”，左侧显示本地目录，右侧为服务器目录，如下图所示：
2. 安装配置JDK
1) 安装JDK
2) 设置环境变量：vim .bashrc
3. 安装配置Hadoop （单一节点）
1) 配置ssh免密码及环境准备
生成公钥：ssh-keygen -t rsa
添加公钥到authorized_keys文件：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
解压Hadoop安装包：tar –zxvf hadoop-0.20.2.tar.gz
2) 配置Hadoop环境变量：vim .bashrc
3) 修改Hadoop配置文件
编辑：vim core-site.xml
编辑：vim mapred-site.xml
编辑：vim hdfs-site.xml
4. 启动/停止Hadoop
5. 安装配置Hadoop （多节点，非生成环境，不使用DNS和NFS）
1) 配置ssh免密码
生成公钥：ssh-keygen -t rsa
添加公钥到authorized_keys文件：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
注意：以上操作需要在每个节点执行，并将各自的公钥添加到authorized_keys文件
2) 配置Hadoop环境变量：vim .bashrc
同3.2
3) 修改Hadoop配置文件
同3.3
在HADOOP_HOME/conf目录下的masters文件中添加SecondaryNameNode节点地址，slaves文件中添加TaskTracker和DataNode节点地址
4) 向各节点复制Hadoop
生成批量拷贝脚本
给脚本添加可执行权限
[tangtaibin@tangtb-PC conf]$ chmod 755 cphadoop.sh
拷贝完毕，格式化文件系统并启动集群
[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/hadoop namenode -format
[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/start-all.sh
从Web页面监控Hadoop集群及Map/Reduce任务
http://10.120.10.11:50070/dfshealth.jsp
http://10.120.10.11:50030/jobtracker.jsp
