随笔-23  评论-58  文章-0  trackbacks-0

blog: http://www.blogjava.net/nianzai/

code: http://code.google.com/p/nutla/


一、安装
1、 安装虚拟机 Oracle VM VirtualBox4.0.4
2、 在虚拟机下安装 Red Hat 6.0
3、 安装jdk jdk-6u24-linux-i586.bin 安装路径为:/home/nianzai/jdk1.6.0_24
4、 安装hadoop hadoop-0.20.2.tar.gz 安装路径为:/home/nianzai/hadoop-0.20.2
5、 安装zookeeper zookeeper-3.3.3.tar.gz 安装路径为:/home/nianzai/zookeeper-3.3.3
6、 安装hbase hbase-0.90.2.tar.gz 安装路径为:/home/nianzai/hbase-0.90.2

二、配置
1、Linux配置
ssh-keygen –t rsa -P ''
cd .ssh
cp id_rsa.pub authorized_keys

/etc/hosts里增加 192.168.195.128 master
/etc/profile 里增加
export JAVA_HOME=/home/nianzai/jdk1.6.0_24
export PATH=$PATH:$JAVA_HOME/bin

2、hadoop配置
hadoop-env.sh
JAVA_HOME=/home/nianzai/jdk1.6.0._24

core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/nianzai/hadoop</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>

masters
master

sh hadoop namenode -format
sh start-all.sh
sh hadoop fs -mkdir input

3、zookeeper配置
zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/nianzai/zkdata
clientPort=2181

sh zkServer.sh start

4、hbase配置
hbase-env.sh
export JAVA_HOME=/home/nianzai/jdk1.6.0_24
export HBASE_MANAGES_ZK=false

将hbase0.90.2 lib目录下hadoop-core-0.20-append-r1056497.jar删除,替换成hadoop0.20.2 下的hadoop-0.20.2-core.jar

hbase-site.xml
<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.master.port</name>
    <value>60000</value>
  </property>
<property>
      <name>hbase.zookeeper.quorum</name>
      <value>master</value>
</property>
</configuration>

regionservers
master

sh start-hbase.sh

posted on 2011-04-19 11:32 nianzai 阅读(4058) 评论(6)  编辑  收藏 所属分类: Nut(lucene + hadoop 分布式并行计算框架)

评论:
# re: Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建) 2011-04-21 09:27 | qiu768
博主很执着!一直在更新Nut,坚持下去!  回复  更多评论
  
# re: Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建) 2011-04-26 15:07 | qianshangding
楼主,我一直能纳闷,nut这个框架到底可不可行。

不过我非常希望能将这个架构应用到实际的项目当中,至少有成功案例。这样对大家都有帮助。哈哈。qianshangding@gmail.com(我的email,希望经常交流)  回复  更多评论
  
# re: Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建) 2011-04-26 17:36 | nianzai
nut 目前只是一个设计参考,想应用的同学可以直接在上面修改应用。如果计划应用的话,本人无条件提供技术支持,第一时间根据实际情况修改代码。  回复  更多评论
  
# re: Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建)[未登录] 2011-04-29 17:23 | 在路上
您好,最近看了看nut的源代码,有些疑问。根据nut的架构图,可以看出hadoop建立好索引以后会把索引同步到搜索服务器,请问在代码中哪里可以体现出把索引同步到搜索服务器了,我的邮箱是on_the_way2xsl@163.com
非常感谢 @nianzai
  回复  更多评论
  
# re: Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建) 2011-12-25 13:05 | standford
@nianzai
我想能否在我的应用中试一下,一起去完善这个框架。我的邮箱henuwolf@qq.com,请联系。谢谢  回复  更多评论
  
# re: Nut开发环境搭建(虚拟机下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2开发环境的搭建) 2012-11-02 09:44 | 王义波
楼主,你好,你最近还有在研究这个东西么,我看你已经有一年没发表博文了?  回复  更多评论
  

只有注册用户登录后才能发表评论。


网站导航: