聂永的博客

记录工作/学习的点点滴滴。

Hadoop学习笔记之Minimal Centos系统安装

前言

开始接触Hadoop,目前最新版本为1.0.2,运行在Linux环境下,Windows下安装Cygwin模拟Linux环境不太感兴趣,那样离真实环境有些太远,不太适合。

有关MapReduce理论什么的,这里暂时不会涉及,把安装过程中的步骤记录下来,最终在虚拟机的帮助下部署一个namenode + 若干个datanode,可以在Windows Eclipse下远程调试。

前置条件

  1. Oracle VM VirtualBox (免费开源,不用使用盗版以及有些弱弱的Vmware Player)
    本文使用4.1.12版本
    注意事项:若宿主机为32位,默认情况下不能安装64位系统
  2. Centos 6.2 最新版,这里选择国内网易的镜像地址:http://mirrors.163.com/centos/6.2/isos/i386/
    本文使用CentOS-6.2-i386-minimal.iso,最小安装包,284M左右,下载地址:
    http://mirrors.163.com/centos/6.2/isos/i386/CentOS-6.2-i386-minimal.iso
    安装之后,进行简单设置即可。

开始工作

  1. VirtualBox中安装Centos 6.2
    这一步没什么可说的
    注意网络连接设置为桥接模式,可以自动通过宿主机正常连接网络了。
  2. 必要设置
    1)。最小化Centos安装之后,很多组件都是没有的,优先启动网络:
    #ifconfig eth0 up;dhclient eth0
    2)。设置开机自动启动网络连接:
    #vi /etc/sysconfig/network-scripts/ifcfg-eth0
    检测一下,是否存在以下内容,若无,添加,保存退出即可。
    ONBOOT=yes
    BOOTPROTO=dhcp
    3)。添加机器别名:
    #vi /etc/sysconfig/network
    保证要有:
    NETWORKING=yes
    HOSTNAME=namenode
    保存退出即可
    4)。安装必须组件
    #yum install vim  wget zip unzip man gcc make setuptool
    5)。设置网络别名映射记录
    # vi /etc/hosts
    10.95.20.168 namenode
    保存退出
    6)。修改 SELINUX
    #vi /etc/selinux/config
    设置SELINUX=disabled,保存退出
    7)。关闭防火墙
    /sbin/service iptables stop
    设置开机不启动
    #chkconfig --level 35 iptables off
  3. SSH设置,无密码SSH访问
    #ssh-keygen -t  rsa
    一路回车即可
    #cd /root/.ssh;cat id_rsa.pub > authorized_keys
    测试登陆自身节点
    #ssh namenode
    系统会询问是否需要保存密码,输入yes即可
    登陆成功之后,需要退出
    #exit
    SSH为hadoop连接namenode/datanode使用
  4. 安装JDK
    从官网下载32版本的linux版本,建议安装在/usr/java目录下
    设置环境变量
    #vi /etc/profile
    在最后添加:
    export JAVA_HOME=/usr/java/jdk1.6.0_31
    export JRE_HOME=/usr/java/jdk1.6.0_31/jre
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
    保存退出即可,使环境生效
    #source /etc/profile
  5. 准备工作做完了
    准备工作完毕,重启一下
    #reboot

至此Centos最小化工作安装完毕,要比使用DVD方式安装启动/关闭速度快了很多。另一方面,大量的非必要组件,比如openjdk默认不安装,算是一个非常干净的系统了。

posted on 2012-04-23 22:18 nieyong 阅读(2389) 评论(0)  编辑  收藏


只有注册用户登录后才能发表评论。


网站导航:
 

公告

所有文章皆为原创,若转载请标明出处,谢谢~

新浪微博,欢迎关注:

导航

<2012年4月>
25262728293031
1234567
891011121314
15161718192021
22232425262728
293012345

统计

常用链接

留言簿(58)

随笔分类(130)

随笔档案(151)

个人收藏

最新随笔

搜索

最新评论

阅读排行榜

评论排行榜