BlogJava-ivaneeo's blog-随笔分类-云http://www.blogjava.net/ivanwan/category/47650.html自由的力量，自由的生活。zh-cnFri, 05 Jun 2015 16:58:38 GMTFri, 05 Jun 2015 16:58:38 GMT60hadoop生态圈http://www.blogjava.net/ivanwan/archive/2015/04/25/424664.htmlivaneeoivaneeoSat, 25 Apr 2015 06:08:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/04/25/424664.htmlhttp://www.blogjava.net/ivanwan/comments/424664.htmlhttp://www.blogjava.net/ivanwan/archive/2015/04/25/424664.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/424664.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/424664.htmlhttp://www.csdn.net/article/2014-01-02/2817984-13-tools-let-hadoop-fly
好用的数据工具
http://blog.itpub.net/7816530/viewspace-1119924/


ivaneeo 2015-04-25 14:08 发表评论
]]>mesos调度框架http://www.blogjava.net/ivanwan/archive/2015/04/15/424426.htmlivaneeoivaneeoTue, 14 Apr 2015 20:49:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/04/15/424426.htmlhttp://www.blogjava.net/ivanwan/comments/424426.htmlhttp://www.blogjava.net/ivanwan/archive/2015/04/15/424426.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/424426.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/424426.html
http://m.blog.csdn.net/blog/ebay/43529401


ivaneeo 2015-04-15 04:49 发表评论
]]>centos6.5 docker installhttp://www.blogjava.net/ivanwan/archive/2015/04/02/424049.htmlivaneeoivaneeoThu, 02 Apr 2015 04:41:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/04/02/424049.htmlhttp://www.blogjava.net/ivanwan/comments/424049.htmlhttp://www.blogjava.net/ivanwan/archive/2015/04/02/424049.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/424049.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/424049.html

运行yum makecache生成缓存

eple源：

rpm -Uvh http://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm

docker 安装：

You will need RHEL 6.5 or higher, with a RHEL 6 kernel version 2.6.32-431 or higher as this has specific kernel fixes to allow Docker to work.

CentOS 6.5已经是2.6.32-431内核了，所以最好安装这个版本。

yum -y install docker-io
升级：
yum -y update docker-io

手动升级：

wget https://get.docker.io/builds/Linux/x86_64/docker-latest -O docker mv -f docker /usr/bin/docker

升级完成

启动：

service docker start

开机启动：

chkconfig docker on


ivaneeo 2015-04-02 12:41 发表评论
]]>docker run restarthttp://www.blogjava.net/ivanwan/archive/2015/03/28/423906.htmlivaneeoivaneeoSat, 28 Mar 2015 02:31:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/28/423906.htmlhttp://www.blogjava.net/ivanwan/comments/423906.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/28/423906.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423906.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423906.htmlhttp://docs.docker.com/articles/host_integration/

ivaneeo 2015-03-28 10:31 发表评论
]]>mincloud install loghttp://www.blogjava.net/ivanwan/archive/2015/03/27/423895.htmlivaneeoivaneeoFri, 27 Mar 2015 10:48:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/27/423895.htmlhttp://www.blogjava.net/ivanwan/comments/423895.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/27/423895.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423895.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423895.html172.20.20.8 mysql-mm1
172.20.20.11 mysql-mm2
172.20.20.10 mysql-data1
172.20.20.9 mysql-data2
172.20.20.10 mysql-sql1
172.20.20.9 mysql-sql2


mysql-mm1:
  docker run -d --name="mysql_mm1" --net=host -v /opt/mysql:/usr/local/mysql mysql_mm/ubuntu /bin/bash -exec 'echo -e "172.20.20.7 mysql-mm1\n172.20.20.10 mysql-mm2\n172.20.20.8 mysql-data1\n172.20.20.9 mysql-data2\n172.20.20.8 mysql-sql1\n172.20.20.9 mysql-sql2\n127.0.0.1 localhost" > /etc/hosts && ndb_mgmd -f /usr/local/mysql/data/mysql-cluster/config.ini && /usr/sbin/sshd -D'
mysql-mm2:
  docker run -d --name="mysql_mm2" --net=host -v /opt/mysql:/usr/local/mysql mysql_mm/ubuntu /bin/bash -exec 'echo -e "172.20.20.7 mysql-mm1\n172.20.20.10 mysql-mm2\n172.20.20.8 mysql-data1\n172.20.20.9 mysql-data2\n172.20.20.8 mysql-sql1\n172.20.20.9 mysql-sql2\n127.0.0.1 localhost" > /etc/hosts && ndb_mgmd -f /usr/local/mysql/data/mysql-cluster/config.ini && zabbix_agentd && /usr/sbin/sshd -D'
mysql-data1:
  docker run -d --name="mysql_data1" --net=host -v /opt/mysql:/usr/local/mysql mysql_data/ubuntu /bin/bash -exec 'echo -e "172.20.20.7 mysql-mm1\n172.20.20.10 mysql-mm2\n172.20.20.8 mysql-data1\n172.20.20.9 mysql-data2\n172.20.20.8 mysql-sql1\n172.20.20.9 mysql-sql2\n127.0.0.1 localhost" > /etc/hosts && /usr/local/mysql/bin/ndbd && zabbix_agentd && /usr/sbin/sshd -D'
mysql-data2:
  docker run -d --name="mysql_data2" --net=host -v /opt/mysql:/usr/local/mysql mysql_data/ubuntu /bin/bash -exec 'echo -e "172.20.20.7 mysql-mm1\n172.20.20.10 mysql-mm2\n172.20.20.8 mysql-data1\n172.20.20.9 mysql-data2\n172.20.20.8 mysql-sql1\n172.20.20.9 mysql-sql2\n127.0.0.1 localhost" > /etc/hosts && /usr/local/mysql/bin/ndbd && zabbix_agentd && /usr/sbin/sshd -D'
mysql-sql1:
  docker run -d --name="mysql_sql1" --net=host -v /opt/mysql:/usr/local/mysql mysql_sql/ubuntu /bin/bash -exec 'echo -e "172.20.20.7 mysql-mm1\n172.20.20.10 mysql-mm2\n172.20.20.8 mysql-data1\n172.20.20.9 mysql-data2\n172.20.20.8 mysql-sql1\n172.20.20.9 mysql-sql2\n127.0.0.1 localhost" > /etc/hosts && /usr/local/mysql/bin/mysqld_safe --user=mysql'
mysql-sql2:
  docker run -d --name="mysql_sql2" --net=host -v /opt/mysql:/usr/local/mysql mysql_sql/ubuntu /bin/bash -exec 'echo -e "172.20.20.7 mysql-mm1\n172.20.20.10 mysql-mm2\n172.20.20.8 mysql-data1\n172.20.20.9 mysql-data2\n172.20.20.8 mysql-sql1\n172.20.20.9 mysql-sql2\n127.0.0.1 localhost" > /etc/hosts && /usr/local/mysql/bin/mysqld_safe --user=mysql'
haproxy && nginx: 
  docker run -d --name="loadbalancer_master" -p 8888:8888 -p 6080:6080 -p 8089:8089 -p 8774:8774 -p 9696:9696 -p 9292:9292 -p 8776:8776 -p 5000:5000 -p 8777:8777 -p 11211:11211 -p 11222:11222 -p 5672:5672 -p 35357:35357 -p 8181:2181 -p 10389:10389 -p 2222:22 -p 80:80 -p 1936:1936 -p 3306:3306 -p 10052:10052 -p 10051:10051 -p 8080:8080 -v /opt/etc/nginx/conf:/usr/local/nginx-1.0.6/conf -v /opt/etc/haproxy:/etc/haproxy loadbalancer/ubuntu /bin/bash -exec 'echo -e "127.0.0.1 localhost" > /etc/hosts && service haproxy start && /usr/local/nginx-1.0.6/sbin/nginx && zabbix_agentd && /usr/sbin/sshd -D'
redis_master:  
  docker run -d --name="redis_master" -p 18:22 -p 6379:6379 -p 6380:6380 redis_master/ubuntu /bin/bash -exec '/usr/local/webserver/redis/start.sh && /usr/sbin/sshd -D'
redis_slave: 
  docker run -d --name="redis_slave1" -p 18:22 -p 6379:6379 -p 6380:6380 redis_slave/ubuntu /bin/bash -exec 'echo -e "172.20.20.10 redis-master\n127.0.0.1 localhost" > /etc/hosts && /usr/local/webserver/redis/start.sh && /usr/sbin/sshd -D' 

rabbitmq:        
  docker run -d --name="rabbitmq_master" -p 2222:22 -p 25672:25672 -p 15672:15672 -p 5672:5672 -p 4369:4369 -p 10051:10050 rabbitmq/ubuntu /bin/bash -exec 'echo -e "172.20.20.10 rabbitmq-master\n127.0.0.1 localhost" > /etc/hosts && /etc/init.d/rabbitmq-server start && /usr/sbin/sshd -D'
 
mule:
  docker run -d --name="mule1" -p 5005:5005 -p 2222:22 -p 9999:9999 -p 9003:9003 -p 9000:9000 -p 9001:9001 -p 9004:9004 -v /opt/mule:/opt/mule-standalone-3.5.0_cloud mule/ubuntu /bin/bash -exec 'echo -e "192.168.1.180 lb-master\n192.168.1.180 controller-node\n127.0.0.1 localhost" >> /etc/hosts && /usr/sbin/sshd && export JAVA_HOME=/opt/jdk1.7.0_51 && export PATH=$JAVA_HOME/bin:$PATH && /opt/mule-standalone-3.5.0_cloud/bin/mule'


zentao:

  docker run -d --name="zentao" -p 22222:22 -p 10008:80 -v /opt/www/html/zentaopms:/opt/zentao --privileged=true zentao/ubuntu /bin/bash -exec 'service apache2 start && /usr/sbin/sshd -D'

websocket-tomcat:
  docker run -d --name="websocket_tomcat1" -p 8888:8080 -p 2222:22 -v /opt/apache-tomcat-8.0.15:/opt/apache-tomcat websocket-tomcat/ubuntu /bin/bash -exec 'echo -e "192.168.1.180 lb-master\n127.0.0.1 localhost" > /etc/hosts && export JAVA_HOME=/opt/jdk1.7.0_51 && /opt/apache-tomcat/bin/startup.sh && /usr/sbin/sshd -D'

 docker run -d --name="guacamole1" -p 8088:8088 -p 38:22 -v /opt/apache-tomcat-7.0.53:/opt/apache-tomcat guacamole/ubuntu /bin/bash -exec 'echo -e "192.168.1.150 lb-master\n127.0.0.1 localhost" > /etc/hosts && /etc/init.d/guacd start && /opt/apache-tomcat/bin/start-tomcat.sh && /usr/sbin/sshd -D'


ivaneeo 2015-03-27 18:48 发表评论
]]>mysql cluster install faqhttp://www.blogjava.net/ivanwan/archive/2015/03/27/423893.htmlivaneeoivaneeoFri, 27 Mar 2015 08:43:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/27/423893.htmlhttp://www.blogjava.net/ivanwan/comments/423893.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/27/423893.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423893.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423893.htmlhttp://www.docin.com/p-558099649.html

ivaneeo 2015-03-27 16:43 发表评论
]]>centos7 testing yumhttp://www.blogjava.net/ivanwan/archive/2015/03/26/423873.htmlivaneeoivaneeoThu, 26 Mar 2015 15:32:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/26/423873.htmlhttp://www.blogjava.net/ivanwan/comments/423873.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/26/423873.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423873.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423873.html

ステップ１ /etc/yum.repos.d/virt7-testing.repo というファイルを作ります。

/etc/yum.repos.d/virt7-testing.repo
[virt7-testing] name=virt7-testing baseurl=http://cbs.centos.org/repos/virt7-testing/x86_64/os/ enabled=0  gpgcheck=0

ステップ2 インストールします。

sudo yum --enablerepo=virt7-testing install docker

確認します。

$ docker --version Docker version 1.5.0, build a8a31ef/1.5.0

やったーー！！

※ご利用は自己責任でお願いします。

http://billpaxtonwasright.com/installing-docker-1-5-0-on-centos-7/



ivaneeo 2015-03-26 23:32 发表评论
]]>解决KVM中鼠标不同步问题http://www.blogjava.net/ivanwan/archive/2015/03/23/423760.htmlivaneeoivaneeoMon, 23 Mar 2015 12:49:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/23/423760.htmlhttp://www.blogjava.net/ivanwan/comments/423760.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/23/423760.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423760.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423760.html在虚拟机的配置文件中增加：

<input type=’tablet’ bus=’usb’/>
（该句位于<devices>配置中）


Linux:


在终端中输入：

xset -m 0

 

Windows:

进入控制面板 -> 鼠标 -> 指针选项，去掉“提高指针精确度”前面的勾。



ivaneeo 2015-03-23 20:49 发表评论
]]>openstack virt vnc porthttp://www.blogjava.net/ivanwan/archive/2015/03/22/423729.htmlivaneeoivaneeoSun, 22 Mar 2015 15:16:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/22/423729.htmlhttp://www.blogjava.net/ivanwan/comments/423729.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/22/423729.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423729.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423729.htmlhttp://docs.openstack.org/image-guide/content/virt-install.html

ivaneeo 2015-03-22 23:16 发表评论
]]>ceilometer alarm例子http://www.blogjava.net/ivanwan/archive/2015/03/17/423541.htmlivaneeoivaneeoTue, 17 Mar 2015 10:13:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/17/423541.htmlhttp://www.blogjava.net/ivanwan/comments/423541.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/17/423541.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423541.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423541.htmlhttp://blog.csdn.net/hackerain/article/details/38172941

ivaneeo 2015-03-17 18:13 发表评论
]]>curl openstackhttp://www.blogjava.net/ivanwan/archive/2015/03/13/423445.htmlivaneeoivaneeoFri, 13 Mar 2015 11:32:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/13/423445.htmlhttp://www.blogjava.net/ivanwan/comments/423445.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/13/423445.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423445.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423445.htmlhttp://blog.csdn.net/anhuidelinger/article/details/9818693

ivaneeo 2015-03-13 19:32 发表评论
]]>ubuntu docker1.5 installhttp://www.blogjava.net/ivanwan/archive/2015/03/02/423137.htmlivaneeoivaneeoMon, 02 Mar 2015 08:21:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/03/02/423137.htmlhttp://www.blogjava.net/ivanwan/comments/423137.htmlhttp://www.blogjava.net/ivanwan/archive/2015/03/02/423137.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/423137.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/423137.htmlhttps://docs.docker.com/installation/ubuntulinux/#ubuntu-trusty-1404-lts-64-bit

ivaneeo 2015-03-02 16:21 发表评论
]]>docker api demohttp://www.blogjava.net/ivanwan/archive/2015/02/14/422927.htmlivaneeoivaneeoSat, 14 Feb 2015 06:29:00 GMThttp://www.blogjava.net/ivanwan/archive/2015/02/14/422927.htmlhttp://www.blogjava.net/ivanwan/comments/422927.htmlhttp://www.blogjava.net/ivanwan/archive/2015/02/14/422927.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/422927.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/422927.htmlhttp://my.oschina.net/guol/blog/271416

ivaneeo 2015-02-14 14:29 发表评论
]]>ndb manage showhttp://www.blogjava.net/ivanwan/archive/2014/12/26/421868.htmlivaneeoivaneeoFri, 26 Dec 2014 10:41:00 GMThttp://www.blogjava.net/ivanwan/archive/2014/12/26/421868.htmlhttp://www.blogjava.net/ivanwan/comments/421868.htmlhttp://www.blogjava.net/ivanwan/archive/2014/12/26/421868.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/421868.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/421868.htmlroot@proxzone-project-4:/usr/local/mysql/bin# ndb_mgm -e show

Connected to Management Server at: localhost:1186

Cluster Configuration

---------------------

[ndbd(NDB)] 2 node(s)

id=3 @172.21.21.108  (mysql-5.6.21 ndb-7.3.7, Nodegroup: 0)

id=4 @172.21.21.109  (mysql-5.6.21 ndb-7.3.7, Nodegroup: 0, *)


[ndb_mgmd(MGM)] 2 node(s)

id=1 @172.21.21.107  (mysql-5.6.21 ndb-7.3.7)

id=2 @172.21.21.110  (mysql-5.6.21 ndb-7.3.7)


[mysqld(API)] 2 node(s)

id=5 @172.21.21.108  (mysql-5.6.21 ndb-7.3.7)

id=6 @172.21.21.109  (mysql-5.6.21 ndb-7.3.7)



ivaneeo 2014-12-26 18:41 发表评论
]]>docker!http://www.blogjava.net/ivanwan/archive/2014/12/19/421553.htmlivaneeoivaneeoThu, 18 Dec 2014 16:57:00 GMThttp://www.blogjava.net/ivanwan/archive/2014/12/19/421553.htmlhttp://www.blogjava.net/ivanwan/comments/421553.htmlhttp://www.blogjava.net/ivanwan/archive/2014/12/19/421553.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/421553.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/421553.htmlhttp://www.blogjava.net/yongboy/archive/2013/12/12/407498.html

docker-registry:

http://www.cnblogs.com/xguo/p/3829329.html


ubuntu 14.04
http://www.tuicool.com/articles/b63uei

centos 6.5
http://blog.yourtion.com/ubuntu-install-docker.html


ivaneeo 2014-12-19 00:57 发表评论
]]>cloudstack xenserver agenthttp://www.blogjava.net/ivanwan/archive/2014/12/17/421501.htmlivaneeoivaneeoWed, 17 Dec 2014 06:54:00 GMThttp://www.blogjava.net/ivanwan/archive/2014/12/17/421501.htmlhttp://www.blogjava.net/ivanwan/comments/421501.htmlhttp://www.blogjava.net/ivanwan/archive/2014/12/17/421501.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/421501.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/421501.html/etc/sysctl.conf

> > net.bridge.bridge-nf-call-iptables = 1 > 
> net.bridge.bridge-nf-call-ip6tables = 0 > 
> net.bridge.bridge-nf-call-arptables = 1

xe-switch-network-backend bridge

REBOOT


ivaneeo 2014-12-17 14:54 发表评论
]]>Hazelcast River Plugin for ElasticSearchhttp://www.blogjava.net/ivanwan/archive/2013/10/08/404716.htmlivaneeoivaneeoMon, 07 Oct 2013 16:57:00 GMThttp://www.blogjava.net/ivanwan/archive/2013/10/08/404716.htmlhttp://www.blogjava.net/ivanwan/comments/404716.htmlhttp://www.blogjava.net/ivanwan/archive/2013/10/08/404716.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/404716.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/404716.htmlhttps://github.com/sksamuel/elasticsearch-river-hazelcast

ivaneeo 2013-10-08 00:57 发表评论
]]>elasticsearch安装配置及中文分词http://www.blogjava.net/ivanwan/archive/2013/10/04/404680.htmlivaneeoivaneeoThu, 03 Oct 2013 18:09:00 GMThttp://www.blogjava.net/ivanwan/archive/2013/10/04/404680.htmlhttp://www.blogjava.net/ivanwan/comments/404680.htmlhttp://www.blogjava.net/ivanwan/archive/2013/10/04/404680.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/404680.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/404680.htmlElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。  
　　我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们的搜索解决方案要快，我们希望 有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开 始并扩展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这些问题和更多的。
 
安装
 
　　以windows操作系统和ES0.19.7版本为例：
 
 
 
　　①下载elasticsearch-0.19.7.zip
 
 
 
　　②直接解压至某目录，设置该目录为ES_HOME环境变量
 
 
 
　　③安装JDK，并设置JAVA_HOME环境变量
 
 
 
　　④在windows下，运行 %ES_HOME%\bin\elasticsearch.bat即可运行
 
分布式搜索elasticsearch单机与服务器环境搭建
 
 
      先到http://www.elasticsearch.org/download/下 载最新版的elasticsearch运行包，本文写时最新的是0.19.1，作者是个很勤快的人，es的更新很频繁，bug修复得很快。下载完解开有三 个包:bin是运行的脚本，config是设置文件，lib是放依赖的包。如果你要装插件的话就要多新建一个plugins的文件夹，把插件放到这个文件 夹中。
 
1.单机环境：
 
单机版的elasticsearch运行很简单，linux下直接 bin/elasticsearch就运行了，windows运行bin/elasticsearch.bat。如果是在局域网中运行elasticsearch集群也是很简单的，只要cluster.name设置一致，并且机器在同一网段下，启动的es会自动发现对方，组成集群。
 
2.服务器环境：
 
如果是在服务器上就可以使用elasticsearch-servicewrapper这个es插件，它支持通过参数，指定是在后台或前台运行es，并且支持启动，停止，重启es服务（默认es脚本只能通过ctrl+c关闭es）。使用方法是到https://github.com/elasticsearch/elasticsearch-servicewrapper下载service文件夹，放到es的bin目录下。下面是命令集合：
bin/service/elasticsearch +
console 在前台运行es
start 在后台运行es
stop 停止es
install 使es作为服务在服务器启动时自动启动
remove 取消启动时自动启动
 
在service目录下有个elasticsearch.conf配置文件，主要是设置一些java运行环境参数，其中比较重要的是下面的
 
参数：
 
#es的home路径，不用用默认值就可以
set.default.ES_HOME=<Path to ElasticSearch Home>
 
#分配给es的最小内存
set.default.ES_MIN_MEM=256
 
#分配给es的最大内存
set.default.ES_MAX_MEM=1024
 

# 启动等待超时时间（以秒为单位）
wrapper.startup.timeout=300
 
# 关闭等待超时时间（以秒为单位）
 
wrapper.shutdown.timeout=300
 
# ping超时时间(以秒为单位)
 
wrapper.ping.timeout=300
 
 
安装插件
 
　　以head插件为例：
 
 
 
　　联网时，直接运行%ES_HOME%\bin\plugin -install mobz/elasticsearch-head
 
 
 
　　不联网时，下载elasticsearch-head的zipball的master包，把内容解压到%ES_HOME%\plugin\head\_site目录下，[该插件为site类型插件]
 
 
 
　　安装完成，重启服务，在浏览器打开 http://localhost:9200/_plugin/head/ 即可
 
ES概念
 
　　cluster
 
 
 
　　代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说 的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通 信和与整个es集群通信是等价的。
 
 
 
　　shards
 
 
 
　　代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。
 
 
 
　　replicas
 
 
 
　　代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。
 
 
 
　　recovery
 
 
 
　　代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
 
 
 
　　river
 
 
 
　　代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服 务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia 的。
 
 
 
　　gateway
 
 
 
　　代表es索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个es集群关闭再 重新启动时就会从gateway中读取索引数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和 amazon的s3云存储服务。
 
 
 
　　discovery.zen
 
 
 
　　代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。
 
 
 
　　Transport
 
 
 
　　代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。
 
分布式搜索elasticsearch中文分词集成
 
 
elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行：
安装ik插件：
 
plugin -install medcl/elasticsearch-analysis-ik/1.1.0  
 
下载ik相关配置词典文件到config目录
 
  1. cd config  
  2. wget http://github.com/downloads/medcl/elasticsearch-analysis-ik/ik.zip --no-check-certificate  
  3. unzip ik.zip  
  4. rm ik.zip  
 
安装mmseg插件：
 
  1. bin/plugin -install medcl/elasticsearch-analysis-mmseg/1.1.0  
 
下载相关配置词典文件到config目录
 
  1. cd config  
  2. wget http://github.com/downloads/medcl/elasticsearch-analysis-mmseg/mmseg.zip --no-check-certificate  
  3. unzip mmseg.zip  
  4. rm mmseg.zip  
 
分词配置
 
ik分词配置，在elasticsearch.yml文件中加上
 
  1. index:  
  2.   analysis:                     
  3.     analyzer:        
  4.       ik:  
  5.           alias: [ik_analyzer]  
  6.           type: org.elasticsearch.index.analysis.IkAnalyzerProvider  
 
或
 
  1. index.analysis.analyzer.ik.type : “ik”  
 
这两句的意义相同
mmseg分词配置，也是在在elasticsearch.yml文件中
 
  1. index:  
  2.   analysis:  
  3.     analyzer:  
  4.       mmseg:  
  5.           alias: [news_analyzer, mmseg_analyzer]  
  6.           type: org.elasticsearch.index.analysis.MMsegAnalyzerProvider  
 
或
 
  1. index.analysis.analyzer.default.type : "mmseg"  
 
mmseg分词还有些更加个性化的参数设置如下
 
  1. index:  
  2.   analysis:  
  3.     tokenizer:  
  4.       mmseg_maxword:  
  5.           type: mmseg  
  6.           seg_type: "max_word"  
  7.       mmseg_complex:  
  8.           type: mmseg  
  9.           seg_type: "complex"  
  10.       mmseg_simple:  
  11.           type: mmseg  
  12.           seg_type: "simple"  
 
这样配置完后插件安装完成，启动es就会加载插件。
 
定义mapping
 
在添加索引的mapping时就可以这样定义分词器
 
  1. {  
  2.    "page":{  
  3.       "properties":{  
  4.          "title":{  
  5.             "type":"string",  
  6.             "indexAnalyzer":"ik",  
  7.             "searchAnalyzer":"ik"  
  8.          },  
  9.          "content":{  
  10.             "type":"string",  
  11.             "indexAnalyzer":"ik",  
  12.             "searchAnalyzer":"ik"  
  13.          }  
  14.       }  
  15.    }  
  16. }  
 
indexAnalyzer为索引时使用的分词器，searchAnalyzer为搜索时使用的分词器。
 
java mapping代码如下：
 
  1. XContentBuilder content = XContentFactory.jsonBuilder().startObject()  
  2.         .startObject("page")  
  3.           .startObject("properties")         
  4.             .startObject("title")  
  5.               .field("type", "string")             
  6.               .field("indexAnalyzer", "ik")  
  7.               .field("searchAnalyzer", "ik")  
  8.             .endObject()   
  9.             .startObject("code")  
  10.               .field("type", "string")           
  11.               .field("indexAnalyzer", "ik")  
  12.               .field("searchAnalyzer", "ik")  
  13.             .endObject()       
  14.           .endObject()  
  15.          .endObject()  
  16.        .endObject()  
 
定义完后操作索引就会以指定的分词器来进行分词。
 
 附：
 
ik分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-ik
 
mmseg分词插件项目地址：https://github.com/medcl/elasticsearch-analysis-mmseg
 
如果觉得配置麻烦，也可以下载个配置好的es版本，地址如下：https://github.com/medcl/elasticsearch-rtf
 
 
 
 
 
elasticsearch的基本用法
 
 

最大的特点： 
1. 数据库的 database, 就是  index 
2. 数据库的 table,  就是 tag 
3. 不要使用browser， 使用curl来进行客户端操作.  否则会出现 java heap ooxx... 

curl:  -X 后面跟 RESTful ：  GET, POST ... 
-d 后面跟数据。 (d = data to send) 

1. create:  

指定 ID 来建立新记录。 （貌似PUT， POST都可以） 
$ curl -XPOST localhost:9200/films/md/2 -d ' 
{ "name":"hei yi ren", "tag": "good"}' 

使用自动生成的 ID 建立新纪录： 
$ curl -XPOST localhost:9200/films/md -d ' 
{ "name":"ma da jia si jia3", "tag": "good"}' 

2. 查询： 
2.1 查询所有的 index, type: 
$ curl localhost:9200/_search?pretty=true 

2.2 查询某个index下所有的type: 
$ curl localhost:9200/films/_search 

2.3 查询某个index 下， 某个 type下所有的记录： 
$ curl localhost:9200/films/md/_search?pretty=true 

2.4 带有参数的查询：  
$ curl localhost:9200/films/md/_search?q=tag:good 
{"took":7,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max_score":1.0,"hits":[{"_index":"film","_type":"md","_id":"2","_score":1.0,  "_source" : 
{ "name":"hei yi ren", "tag": "good"}},{"_index":"film","_type":"md","_id":"1","_score":0.30685282, "_source" : 
{ "name":"ma da jia si jia", "tag": "good"}}]}} 

2.5 使用JSON参数的查询： （注意 query 和 term 关键字） 
$ curl localhost:9200/film/_search -d ' 
{"query" : { "term": { "tag":"bad"}}}' 

3. update  
$ curl -XPUT localhost:9200/films/md/1 -d { ...(data)... } 

4. 删除。 删除所有的： 
$ curl -XDELETE localhost:9200/films


ivaneeo 2013-10-04 02:09 发表评论
]]>Cloudera Impala TarBall 编译、安装与配置http://www.blogjava.net/ivanwan/archive/2013/06/29/401074.htmlivaneeoivaneeoSat, 29 Jun 2013 09:12:00 GMThttp://www.blogjava.net/ivanwan/archive/2013/06/29/401074.htmlhttp://www.blogjava.net/ivanwan/comments/401074.htmlhttp://www.blogjava.net/ivanwan/archive/2013/06/29/401074.html#Feedback1http://www.blogjava.net/ivanwan/comments/commentRss/401074.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/401074.html
Impala是由Cloudera开发的高性能实时计算工具，相比Hive性能提升了几十、甚至近百倍，基本思想是将计算分发到每个 Datanode所在的节点，依靠内存实现数据的缓存进行快速计算，类似的系统还有Berkeley的Shark。从实际测试来看，Impala效率确实 不错，由于Impala大量使用C++实现，不使用CDH的Image而自己编译安装要费不少功夫，这里记录一下安装配置过程和碰到的一些问题。我在测试 时候使用的是CentOS6.2。
 一些基本的安装步骤在这里，但我在安装的时候碰到一些问题，这里再详细说明一下过程。
 
1.安装所需的依赖lib，这一步没有什么不同
 
sudo yum install boost-test boost-program-options  libevent-devel automake libtool flex bison gcc-c++ openssl-devel make  cmake doxygen.x86_64 glib-devel boost-devel python-devel bzip2-devel svn  libevent-devel cyrus-sasl-devel wget git unzip
 
2.安装LLVM，按照流程做即可，注意要在多台机器上编译安装Impala的话，只用在一台机器上执行下面蓝色的部分，再把llvm分发到多台机器上执行后面红色部分的指令就可以了，没必要每个机器都通过svn下载一遍源代码，很费时。
 
 
 wget http://llvm.org/releases/3.2/llvm-3.2.src.tar.gz
 tar xvzf llvm-3.2.src.tar.gz
 cd llvm-3.2.src/tools
 svn co http://llvm.org/svn/llvm-project/cfe/tags/RELEASE_32/final/ clang
 cd ../projects
 svn co http://llvm.org/svn/llvm-project/compiler-rt/tags/RELEASE_32/final/ compiler-rt 
 
 cd ..
 ./configure –with-pic
 make -j4 REQUIRES_RTTI=1
 sudo make install 
 
 
3.安装Maven，这个没什么好说的，按照步骤，设置一下环境变量即可，Maven是为了后面build impala源代码用的。
 
wget http://www.fightrice.com/mirrors/apache/maven/maven-3/3.0.4/binaries/apache-maven-3.0.4-bin.tar.gz
 tar xvf apache-maven-3.0.4.tar.gz && sudo mv apache-maven-3.0.4 /usr/local
 
修改~/.bashrc，增加maven环境变量
 
export M2_HOME=/usr/local/apache-maven-3.0.4
 export M2=$M2_HOME/bin
 export PATH=$M2:$PATH
 
更新环境变量，查看mvn版本是否正确
 
source ~/.bashrc
 mvn -version
 
4.下载Impala源代码
 
git clone https://github.com/cloudera/impala.git
 
5.设置Impala环境变量，编译时需要
 
cd impala
 ./bin/impala-config.sh
 
6.下载impala依赖的第三方package
 
cd thirdparty
 ./download_thirdparty.sh
 
注意这里其中一个包cyrus-sasl-2.1.23可能下载失败，可以自行搜索(CSDN里面就有)下载下来然后解压缩到thirdparty 文件夹，最好是在执行完download_thirdparty.sh之后做这一步，因为download_thirdparty.sh会把所有目录下下 载下来的tar.gz给删除掉。
 
7.理论上现在可以开始build impala了，但是实际build过程中可能会出现问题，我碰到的问题和 Boost相关的(具体错误不记得了)，最后发现是由于boost版本太低导致的，CentOS  6.2系统默认yum源中的boost和boost-devel版本是1.41，但是impala编译需要1.44以上的版本，因此需要做的是自己重新编 译boost，我用的是boost 1.46版本。
 
#删除已安装的boost和boost-devel
 yum remove boost
 yum remove boost-devel
 #下载boost
 #可以去(http://www.boost.org/users/history/)下载boost
 #下载后解压缩
 tar xvzf boost_1_46_0.tar.gz
 mv boost_1_46_0 /usr/local/
 cd /usr/include
 ./bootstrap.sh
 ./bjam
 #执行后若打印以下内容，则表示安装成功
 # The Boost C++ Libraries were successfully built!
 # The following directory should be added to compiler include paths:
 # /usr/local/boost_1_46_0
 # The following directory should be added to linker library paths:
 # /usr/local/boost_1_46_0/stage/lib
 #现在还需要设置Boost环境变量和Impala环境变量 
export BOOST_ROOT=’/usr/local/boost_1_46_0′
 export IMPALA_HOME=’/home/extend/impala’
 
#注意一下，这里虽然安装了boost，但是我在实际使用的时候，编译还是会报错的，报的错误是找不到这个包：#libboost_filesystem-mt.so，这个包是由boost-devel提供的，所以我的做法是把boost-devel给重新装上
 #我没有试过如果之前不删除boost-devel会不会有问题，能确定的是按这里写的流程做是没问题的
 
yum install boost-devel 
 
8.现在终于可以编译impala了
 
cd $IMPALA_HOME
 ./build_public.sh -build_thirdparty
 #编译首先会编译C++部分，然后再用mvn编译java部分，整个过程比较慢，我在虚拟机上大概需要1-2个小时。
 #Impala编译完后的东西在be/build/debug里面
 
9.启动impala_shell需要用到的python包
 
#第一次执行impalad_shell可能会报错，这里需要安装python的两个包:thrift和prettytable，使用easy_install即可
 easy_install prettytable
 easy_install thrift
 
10.如果你以为到这里就万事大吉就太天真了，在配置、启动、使用Impala的时候还会有很多奇葩的问题；
 
问题1：Hive和Hadoop使用的版本
 CDH对版本的依赖要求比较高，为了保证Impala正常运行，强烈建议使用Impala里面thirdparty目录中自带的Hadoop(native lib已经编译好的)和Hive版本。
 Hadoop的配置文件在$HADOOP_HOME/etc/hadoop中，要注意的是需要启用native lib
 
 
#修改hadoop的core-site.xml，除了这个选项之外，其他配置和问题2中的core-site.xml一致
 <property>
   <name>hadoop.native.lib</name>
   <value>true</value>
   <description>Should native hadoop libraries, if present, be used.</description>
 </property>
 
 
问题2：Impala的配置文件位置
 Impala默认使用的配置文件路径是在bin/set-classpath.sh中配置的，建议把CLASSPATH部分改成
 
CLASSPATH=\
 $IMPALA_HOME/conf:\
 $IMPALA_HOME/fe/target/classes:\
 $IMPALA_HOME/fe/target/dependency:\
 $IMPALA_HOME/fe/target/test-classes:\
 ${HIVE_HOME}/lib/datanucleus-core-2.0.3.jar:\
 ${HIVE_HOME}/lib/datanucleus-enhancer-2.0.3.jar:\
 ${HIVE_HOME}/lib/datanucleus-rdbms-2.0.3.jar:\
 ${HIVE_HOME}/lib/datanucleus-connectionpool-2.0.3.jar:
 
即要求Impala使用其目录下的Conf文件夹作为配置文件，然后创建一下Conf目录，把3样东西拷贝进来：core-site.xml、hdfs-site.xml、hive-site.xml。
 core-site.xml的配置，下面几个选项是必须要配置的，
 
 
<?xml version="1.0"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://10.200.4.11:9000</value>
 </property>
 <property>
 <name>dfs.client.read.shortcircuit</name>
 <value>true</value>
 </property>
 <property>
 <name>dfs.client.use.legacy.blockreader.local</name>
 <value>false</value>
 </property>
 <property>
 <name>dfs.client.read.shortcircuit.skip.checksum</name>
 <value>false</value>
 </property>
 </configuration>
 
 
hdfs-site.xml的配置
 
 
<?xml version="1.0" encoding="UTF-8"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
 <property>
 <name>dfs.block.local-path-access.user</name>
 <value>${your user}</value>
 </property>
 <property>
 <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
 <value>true</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>${yourdatadir}</value>
 </property>
 <property>
    <name>dfs.client.use.legacy.blockreader.local</name>
    <value>false</value>
 </property>
 <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>750</value>
 </property>
 <property>
     <name>dfs.client.file-block-storage-locations.timeout</name>
     <value>5000</value>
 </property>
 <property>
     <name>dfs.domain.socket.path</name>
     <value>/home/extend/cdhhadoop/dn.8075</value>
 </property>
 </configuration>
 
 
最后是hive-site.xml，这个比较简单，指定使用DBMS为元数据存储即可(impala必须和hive共享元数据，因为impala无 法create table)；Hive-site.xml使用mysql作为metastore的说明在很多地方都可以查到，配置如下：
 
 
<?xml version="1.0"?>
 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 <configuration>
 <property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://10.28.0.190:3306/impala?createDatabaseIfNotExist=true</value>
   <description>JDBC connect string for a JDBC metastore</description>
 </property>
 <property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>com.mysql.jdbc.Driver</value>
   <description>Driver class name for a JDBC metastore</description>
 </property>
 
 <property>
   <name>javax.jdo.option.ConnectionUserName</name>
   <value>root</value>
   <description>username to use against metastore database</description>
 </property>
 <property>
   <name>javax.jdo.option.ConnectionPassword</name>
   <value>root</value>
   <description>password to use against metastore database</description>
 </property>
 </configuration>
 
 
记得把mysql-connector的jar包给拷贝到hive的lib里面去，同样也要拷贝给impala ( 拷贝至$IMPALA_HOME/fe/target/dependency)
 
11.启动Impala。到此，Impala是可以正常启动的。这里说明一下，官方文档没有说很清楚Impala的Service之间是如何互相协调的，按照官方的步骤，最后通过如下方法来在一台机器上启动Impala Service：
 
 #启动单机impala service
 ${IMPALA_HOME}/bin/start-impalad.sh -use_statestore=false
 #启动impala shell
 ${IMPALA_HOME}/bin/impala-shell.sh 
 
然后impala-shell就可以连接到localhost进行查询了；注意，这里只是单机查询，可以用来验证你的Impala是否正常work 了；如何启动一个Impala集群，跳到第12步。这里继续说一下可能遇到的问题，我遇到的一个比较奇葩的问题是show  tables和count(1)没有问题，但是select * from table的时候impala在读取数据的时候就崩溃了(有时报错could  not find method close from class org/apache/hadoop/fs/FSDataInputStream  with signature ()V )，这里修改了两个地方解决这个问题:
 
a.修改impala的set-classpath.sh并移除$IMPALA_HOME/fe/target/dependency目录中除了hadoop-auth-2.0.0-*.jar之外所有hadoop-*开头的jar包。
 
 #把impala dependency中和hadoop相关的包给弄出来，只保留auth
 mv $IMPALA_HOME/fe/target/dependency/hadoo* $IMPALA_HOME
 mv $IMPALA_HOME/hadoop-auth*.jar mv $IMPALA_HOME/fe/target/dependency
 #修改bin/set-classpath.sh，将$HADOOP_HOME中的lib给加入，在set-classpath.sh最后一行export CLASSPATH之前#添加
 for jar in `ls $HADOOP_HOME/share/hadoop/common/*.jar`; do
 CLASSPATH=${CLASSPATH}:$jar
 done
 for jar in `ls $HADOOP_HOME/share/hadoop/yarn/*.jar`; do
 CLASSPATH=${CLASSPATH}:$jar
 done
 for jar in `ls $HADOOP_HOME/share/hadoop/hdfs/*.jar`; do
 CLASSPATH=${CLASSPATH}:$jar
 done
 for jar in `ls $HADOOP_HOME/share/hadoop/mapreduce/*.jar`; do
 CLASSPATH=${CLASSPATH}:$jar
 done
 for jar in `ls $HADOOP_HOME/share/hadoop/tools/lib/*.jar`; do
 CLASSPATH=${CLASSPATH}:$jar
 done 
 
b.注意到Impala对待table的时候只能够使用hive的默认列分隔符，如果在hive里面create table的时候使用了自定义的分隔符，Impala servive就会在读数据的时候莫名其妙的崩溃。
 
12.启动Impala 集群
 Impala实际上由两部分组成，一个是StateStore，用来协调各个机器计算，相当于Master，然后就是Impalad，相当于Slave，启动方法如下：
 
 #启动statestore
 #方法1，直接利用impala/bin下面的这个python脚本
 #这个脚本会启动一个StateStore，同时启动-s个数量的Impala Service在本机
 $IMPALA_HOME/bin/start-impala-cluster.py -s 1 –log_dir /home/extend/impala/impalaLogs
 #方法2，手动启动StateStore
 $IMPALA_HOME/be/build/debug/statestore/statestored -state_store_port=24000 
#启动impala service
 #在每个编译安装了impala的节点上执行命令
 #参数-state_store_host指定启动了stateStore的机器名
 #-nn即namenode，指定hadoop的namenode
 #-nn_port是namenode的HDFS入口端口号
 $IMPALA_HOME/bin/start-impalad.sh -state_store_host=m11 -nn=m11 -nn_port=9000 
 
正常启动之后，访问http://${stateStore_Server}:25010/ 可以看到StateStore的状态，其中的subscribers页面可以看到已经连接上的impala service node；
 
13.使用Impala客户端
 这一步最简单，随便找一个机器启动
  $IMPALA_HOME/bin/impala-shell.sh
 #启动之后可以随便连接一个impala service
 connect m12
 #连接上之后就可以执行show tables之类的操作了
 #需要注意的是，如果hive创建表或更新了表结构，impala的节点是不知道的
 #必须通过客户端连接各个impala service并执行refresh来刷新metadata
 #或者重启所有impala service

ivaneeo 2013-06-29 17:12 发表评论
]]>Virtual Desktophttp://www.blogjava.net/ivanwan/archive/2012/10/20/389916.htmlivaneeoivaneeoSat, 20 Oct 2012 05:18:00 GMThttp://www.blogjava.net/ivanwan/archive/2012/10/20/389916.htmlhttp://www.blogjava.net/ivanwan/comments/389916.htmlhttp://www.blogjava.net/ivanwan/archive/2012/10/20/389916.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/389916.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/389916.html
8 Virtual Desktop program: Ulteo, NX Enteprise Server,  FoSS CLOUD, Orcale Virtualbox, Thinstuff, JetClouding, Go Grid,2xCloud  Computing
           

ivaneeo 2012-10-20 13:18 发表评论
]]>kvm创建http://www.blogjava.net/ivanwan/archive/2012/06/08/380368.htmlivaneeoivaneeoFri, 08 Jun 2012 09:55:00 GMThttp://www.blogjava.net/ivanwan/archive/2012/06/08/380368.htmlhttp://www.blogjava.net/ivanwan/comments/380368.htmlhttp://www.blogjava.net/ivanwan/archive/2012/06/08/380368.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/380368.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/380368.html
sudo qemu-img create -f qcow2 -o size=30240M,preallocation=metadata win2003_hda.img
http://blog.kreyolys.com/2011/09/27/kvm-virtual-machines-disk-format-file-basedqcow2-or-block-devicelvm2/---比较
sudo virt-install \
--name win2003_test \
--ram=1024 \
--vcpus=2 \
--disk /kvm/win2003_hda.img,bus=virtio \
--network bridge:br0,model=virtio \
--vnc \
--accelerate \
-c /share/os/win2003-i386.iso \
--disk /home/kvm/virtio-win-1.1.16.vfd,device=floppy \
-c /home/kvm/virtio-win-0.1-22.iso \
--os-type=windows \
--os-variant=win2k3 \
--noapic \
--connect \
qemu:///system \
--hvm

http://www.howtoforge.com/installing-kvm-guests-with-virt-install-on-ubuntu-12.04-lts-server


半虚拟化参考：
  1. #!/bin/sh
  2. WINISO=/path/to/win7.iso    #Windows ISO
  3. INSTALLDISK=win7virtio.img  #Disk location. Can be LVM LV
  4. VFD=http://alt.fedoraproject.org/pub/alt/virtio-win/latest/images/bin/virtio-win-1.1.16.vfd
  5. DRVRISO=http://alt.fedoraproject.org/pub/alt/virtio-win/latest/images/bin/virtio-win-0.1-22.iso
  6.  
  7. [ -e $(basename $VFD) ]     || wget $VFD
  8. [ -e $(basename $DRVRISO) ] || wget $DRVRISO
  9. [ -e $INSTALLDISK ]         || qemu-img create $INSTALLDISK 30G
  10.  
  11. sudo virt-install -c qemu:///system --virt-type kvm --name win7virtio --ram 1024 --disk path="$INSTALLDISK",bus=virtio \
  12. --disk $(basename $VFD),device=floppy --os-variant win7 --cdrom $(basename $DRVRISO) --cdrom "$WINISO" --vcpus 2
  13. ENDING OF BASH SCRIPT 
其他参考：
 
In my previous article KVM Guests: Using Virt-Install to Import an Existing Disk Image  we discussed how to use virt-install to import an existing disk image,  which already has an OS installed into it.  Additionally in KVM Guests: Using Virt-Install to Install Debian and Ubuntu Guests  I documented how to initiate an install directly off of the apt mirror  of your choice for Debian and Ubuntu Guests using virt-install.  In this  article we will use virt-install to create a guest and begin the  installation using a CD or ISO image for installation media.
 
Assumptions I Have Made
 
  • My KVM host is Ubuntu 10.10 and I am assuming that yours is as    well.  If it is not then the syntax might be slightly different or may    not include the same features.
  • That you have kvm installed on the host and you can manually create VMs using virt-manager and they work perfectly.
  • That you have a bridge configured and working on other guests.
  • That you have virt-install and libvirt-bin installed as well as    virt-manager or virt-viewer so that you can complete the install after    the virt-install command has completed.
  • That you are trying to import disk images that support VirtIO   devices (most recent Linux distributions, Windows does not natively   support the VirtIO interface, so you will had to have manually installed   the VirtIO drivers into your disk image).
 
The Basic Command
 
# virt-install -n vmname -r 2048 --os-type=linux --os-variant=ubuntu --disk /kvm/images/disk/vmname_boot.img,device=disk,bus=virtio,size=40,sparse=true,format=raw -w bridge=br0,model=virtio --vnc --noautoconsole -c /kvm/images/iso/ubuntu.iso
 
Parameters Detailed
 
  • -n vmname [the name of your VM]
  • -r 2048 [the amount of RAM in MB for your VM]
  • –os-type=linux [the type of OS linux or windows]
  • –os-variant=ubuntu [the distribution or version of Windows for a full list see man virt-install]
  • –disk    /kvm/images/disk/vmname_boot.img,device=disk,bus=virtio,size=40,sparse=true,format=raw   [this is a long one you define the path, then comma delimited options,    device is the type of storage cdrom, disk, floppy, bus is the  interface   ide, scsi, usb, virtio - virtio is the fastest but you need  to install   the drivers for Windows and older versions of Linux don't  have  support]
  • -w bridge=br0,model=virtio [the network    configuration, in this case we are connecting to a bridge named br0, and    using the virtio drivers which perform much better if you are using  an   OS which doesn't support virtio you can use e1000 or rtl8139.  You   could  alternatively use --nonetworks if you do not need networking]
  • –vnc [configures the graphics card to use VNC allowing you to use    virt-viewer or virt-manager to see the desktop as if you were at the a    monitor of a physical machine]
  • –noautoconsole [configures the installer to NOT automatically try    to open virt-viewer to view the console to complete the installation -    this is helpful if you are working on a remote system through SSH]
  • -c /kvm/images/iso/ubuntu.iso [this option specifies the  cdrom device or iso image with which to boot off of.  You could  additionally specify the cdrom device as a disk device, and not use the  -c option, it will then boot off of the cdrom if you don't specify  another installation method]
 
LVM Disk Variation
 
# virt-install -n vmname -r 2048 --os-type=linux --os-variant=ubuntulucid  --disk  /dev/vg_name/lv_name,device=disk,bus=virtio  -w bridge=br0,model=virtio --vnc --noautoconsole -c  /kvm/images/iso/ubuntu.iso
 
No VirtIO Variation (Uses IDE and e1000 NIC Emulation)
 
# virt-install -n vmname -r 2048 --os-type=linux  --os-variant=ubuntulucid --disk  /kvm/images/disk/vmname_boot.img,device=disk,bus=ide,size=40,sparse=true,format=raw  -w bridge=br0,model=e1000 --vnc --noautoconsole -c  /kvm/images/iso/ubuntu.iso
 
Define VM Without Installation Method
 
# virt-install -n vmname -r 2048 --os-type=linux --os-variant=ubuntulucid --disk /kvm/images/disk/vmname_boot.img,device=disk,bus=virtio,size=40,sparse=true,format=raw --disk /kvm/images/iso/ubuntu.iso,device=cdrom -w bridge=br0,model=virtio --vnc --noautoconsole

 


ivaneeo 2012-06-08 17:55 发表评论
]]>Cassandra、MongoDB、CouchDB、Redis、Riak、HBase比较http://www.blogjava.net/ivanwan/archive/2011/07/05/353713.htmlivaneeoivaneeoTue, 05 Jul 2011 07:11:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/07/05/353713.htmlhttp://www.blogjava.net/ivanwan/comments/353713.htmlhttp://www.blogjava.net/ivanwan/archive/2011/07/05/353713.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/353713.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/353713.html
本文有标题党之嫌。在NoSQL如日中天的今天，各种NoSQL产品可谓百花齐放，但每一个产品都有自己的特点，有长处也有不适合的场景。本文对Cassandra, Mongodb, CouchDB, Redis, Riak 以及 HBase 进行了多方面的特点分析，希望看完此文的您能够对这些NoSQL产品的特性有所了解。
 
  
  
CouchDB
 		  
  • Written in: Erlang
  • Main point: DB consistency, ease of use
  • License: Apache
  • Protocol: HTTP/REST
  • Bi-directional (!) replication,
  • continuous or ad-hoc,
  • with conflict detection,
  • thus, master-master replication. (!)
  • MVCC – write operations do not block reads
  • Previous versions of documents are available
  • Crash-only (reliable) design
  • Needs compacting from time to time
  • Views: embedded map/reduce
  • Formatting views: lists & shows
  • Server-side document validation possible
  • Authentication possible
  • Real-time updates via _changes (!)
  • Attachment handling
  • thus, CouchApps (standalone js apps)
  • jQuery library included
 
Best used: For accumulating, occasionally changing data, on which pre-defined queries are to be run. Places where versioning is important.
 
For example: CRM, CMS systems. Master-master replication is an especially interesting feature, allowing easy multi-site deployments.
 
 
  
Redis
 		  
  • Written in: C/C++
  • Main point: Blazing fast
  • License: BSD
  • Protocol: Telnet-like
  • Disk-backed in-memory database,
  • but since 2.0, it can swap to disk.
  • Master-slave replication
  • Simple keys and values,
  • but complex operations like ZREVRANGEBYSCORE
  • INCR & co (good for rate limiting or statistics)
  • Has sets (also union/diff/inter)
  • Has lists (also a queue; blocking pop)
  • Has hashes (objects of multiple fields)
  • Of all these databases, only Redis does transactions (!)
  • Values can be set to expire (as in a cache)
  • Sorted sets (high score table, good for range queries)
  • Pub/Sub and WATCH on data changes (!)
 
Best used: For rapidly changing data with a foreseeable database size (should fit mostly in memory).
 
For example: Stock prices. Analytics. Real-time data collection. Real-time communication.
 
 
  
MongoDB
 		  
  • Written in: C++
  • Main point: Retains some friendly properties of SQL. (Query, index)
  • License: AGPL (Drivers: Apache)
  • Protocol: Custom, binary (BSON)
  • Master/slave replication
  • Queries are javascript expressions
  • Run arbitrary javascript functions server-side
  • Better update-in-place than CouchDB
  • Sharding built-in
  • Uses memory mapped files for data storage
  • Performance over features
  • After crash, it needs to repair tables
  • Better durablity coming in V1.8
 
Best used: If you need dynamic queries. If you  prefer to define indexes, not map/reduce functions. If you need good  performance on a big DB. If you wanted CouchDB, but your data changes  too much, filling up disks.
 
For example: For all things that you would do with MySQL or PostgreSQL, but having predefined columns really holds you back.
 
 
  
Cassandra
 		  
  • Written in: Java
  • Main point: Best of BigTable and Dynamo
  • License: Apache
  • Protocol: Custom, binary (Thrift)
  • Tunable trade-offs for distribution and replication (N, R, W)
  • Querying by column, range of keys
  • BigTable-like features: columns, column families
  • Writes are much faster than reads (!)
  • Map/reduce possible with Apache Hadoop
  • I admit being a bit biased against it, because of the bloat and  complexity it has partly because of Java (configuration, seeing  exceptions, etc)
 
Best used: When you write more than you read  (logging). If every component of the system must be in Java. (“No one  gets fired for choosing Apache’s stuff.”)
 
For example: Banking, financial industry (though not  necessarily for financial transactions, but these industries are much  bigger than that.) Writes are faster than reads, so one natural niche is  real time data analysis.
 
 
  
Riak
 		  
  • Written in: Erlang & C, some Javascript
  • Main point: Fault tolerance
  • License: Apache
  • Protocol: HTTP/REST
  • Tunable trade-offs for distribution and replication (N, R, W)
  • Pre- and post-commit hooks,
  • for validation and security.
  • Built-in full-text search
  • Map/reduce in javascript or Erlang
  • Comes in “open source” and “enterprise” editions
 
Best used: If you want something Cassandra-like  (Dynamo-like), but no way you’re gonna deal with the bloat and  complexity. If you need very good single-site scalability, availability  and fault-tolerance, but you’re ready to pay for multi-site replication.
 
For example: Point-of-sales data collection. Factory control systems. Places where even seconds of downtime hurt.
 
 
  
HBase
 		  
  • Written in: Java
  • Main point: Billions of rows X millions of columns
  • License: Apache
  • Protocol: HTTP/REST (also Thrift)
  • Modeled after BigTable
  • Map/reduce with Hadoop
  • Query predicate push down via server side scan and get filters
  • Optimizations for real time queries
  • A high performance Thrift gateway
  • HTTP supports XML, Protobuf, and binary
  • Cascading, hive, and pig source and sink modules
  • Jruby-based (JIRB) shell
  • No single point of failure
  • Rolling restart for configuration changes and minor upgrades
  • Random access performance is like MySQL
 
Best used: If you’re in love with BigTable. :)  And when you need random, realtime read/write access to your Big Data.
 
For example: Facebook Messaging Database (more general example coming soon)
 
  
 
原文链接：Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase comparison 


ivaneeo 2011-07-05 15:11 发表评论
]]>Java虚拟机类型卸载和类型更新解析http://www.blogjava.net/ivanwan/archive/2011/06/16/352458.htmlivaneeoivaneeoThu, 16 Jun 2011 12:05:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/16/352458.htmlhttp://www.blogjava.net/ivanwan/comments/352458.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/16/352458.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/352458.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352458.html 前面系统讨论过java类型加载(loading)的问题，在这篇文章中简要分析一下java类型卸载(unloading)的问题，并简要分析一下如何解决如何运行时加载newly compiled version的问题。

【相关规范摘要】
    首先看一下，关于java虚拟机规范中时如何阐述类型卸载(unloading)的：
    A class or interface may be unloaded if and only if its class loader is unreachable. The bootstrap class loader is always reachable; as a result， system classes may never be unloaded.
    Java虚拟机规范中关于类型卸载的内容就这么简单两句话，大致意思就是：只有当加载该类型的类加载器实例(非类加载器类型)为unreachable状态时，当前被加载的类型才被卸载.启动类加载器实例永远为reachable状态，由启动类加载器加载的类型可能永远不会被卸载.

    我们再看一下Java语言规范提供的关于类型卸载的更详细的信息(部分摘录)：
    //摘自JLS 12.7 Unloading of Classes and Interfaces
    1、An implementation of the Java programming language may unload classes.
    2、Class unloading is an optimization that helps reduce memory use. Obviously，the semantics of a program should not depend  on whether and how a system chooses to implement an optimization such as class unloading.
    3、Consequently，whether a class or interface has been unloaded or not should be transparent to a program

    通过以上我们可以得出结论： 类型卸载(unloading)仅仅是作为一种减少内存使用的性能优化措施存在的，具体和虚拟机实现有关，对开发者来说是透明的.

    纵观java语言规范及其相关的API规范，找不到显示类型卸载(unloading)的接口， 换句话说： 
    1、一个已经加载的类型被卸载的几率很小至少被卸载的时间是不确定的
    2、一个被特定类加载器实例加载的类型运行时可以认为是无法被更新的

【类型卸载进一步分析】
     前面提到过，如果想卸载某类型，必须保证加载该类型的类加载器处于unreachable状态，现在我们再看看有 关unreachable状态的解释：
    1、A reachable object is any object that can be accessed in any potential continuing computation from any live thread.
    2、finalizer-reachable: A finalizer-reachable object can be reached from some finalizable object through some chain of references, but not from any live thread. An unreachable object cannot be reached by either means.

    某种程度上讲，在一个稍微复杂的java应用中，我们很难准确判断出一个实例是否处于unreachable状态，所    以为了更加准确的逼近这个所谓的unreachable状态，我们下面的测试代码尽量简单一点.
    
    【测试场景一】使用自定义类加载器加载， 然后测试将其设置为unreachable的状态
    说明：
    1、自定义类加载器(为了简单起见， 这里就假设加载当前工程以外D盘某文件夹的class)
    2、假设目前有一个简单自定义类型MyClass对应的字节码存在于D：/classes目录下
    
public class MyURLClassLoader extends URLClassLoader { 
   public MyURLClassLoader() { 
      super(getMyURLs()); 
   } 

   private static URL[] getMyURLs() { 
    try { 
       return new URL[]{new File ("D：/classes/").toURL()}; 
    } catch (Exception e) { 
       e.printStackTrace(); 
       return null; 
    } 
  } 
} 

 1 public class Main { 
 2     public static void main(String[] args) { 
 3       try { 
 4          MyURLClassLoader classLoader = new MyURLClassLoader(); 
 5          Class classLoaded = classLoader.loadClass("MyClass"); 
 6          System.out.println(classLoaded.getName()); 
 7 
 8          classLoaded = null; 
 9          classLoader = null; 
10 
11          System.out.println("开始GC"); 
12          System.gc(); 
13          System.out.println("GC完成"); 
14        } catch (Exception e) { 
15            e.printStackTrace(); 
16        } 
17     } 
18 } 

        我们增加虚拟机参数-verbose：gc来观察垃圾收集的情况，对应输出如下：   
MyClass 
开始GC 
[Full GC[Unloading class MyClass] 
207K->131K(1984K)， 0.0126452 secs] 
GC完成 

    【测试场景二】使用系统类加载器加载，但是无法将其设置为unreachable的状态
      说明：将场景一中的MyClass类型字节码文件放置到工程的输出目录下，以便系统类加载器可以加载
        
 1 public class Main { 
 2     public static void main(String[] args) { 
 3      try { 
 4       Class classLoaded =  ClassLoader.getSystemClassLoader().loadClass( 
 5 "MyClass"); 
 6 
 7 
 8      System.out.printl(sun.misc.Launcher.getLauncher().getClassLoader()); 
 9      System.out.println(classLoaded.getClassLoader()); 
10      System.out.println(Main.class.getClassLoader()); 
11 
12      classLoaded = null; 
13 
14      System.out.println("开始GC"); 
15      System.gc(); 
16      System.out.println("GC完成"); 
17 
18      //判断当前系统类加载器是否有被引用(是否是unreachable状态) 
19      System.out.println(Main.class.getClassLoader()); 
20     } catch (Exception e) { 
21         e.printStackTrace(); 
22     } 
23   } 
24 } 
        
        我们增加虚拟机参数-verbose：gc来观察垃圾收集的情况， 对应输出如下： 
sun.misc.Launcher$AppClassLoader@197d257 
sun.misc.Launcher$AppClassLoader@197d257 
sun.misc.Launcher$AppClassLoader@197d257 
开始GC 
[Full GC 196K->131K(1984K)， 0.0130748 secs] 
GC完成 
sun.misc.Launcher$AppClassLoader@197d257 

        由于系统ClassLoader实例(AppClassLoader@197d257">sun.misc.Launcher$AppClassLoader@197d257)加载了很多类型，而且又没有明确的接口将其设置为null，所以我们无法将加载MyClass类型的系统类加载器实例设置为unreachable状态，所以通过测试结果我们可以看出，MyClass类型并没有被卸载.(说明： 像类加载器实例这种较为特殊的对象一般在很多地方被引用， 会在虚拟机中呆比较长的时间)

    【测试场景三】使用扩展类加载器加载， 但是无法将其设置为unreachable的状态

        说明：将测试场景二中的MyClass类型字节码文件打包成jar放置到JRE扩展目录下，以便扩展类加载器可以加载的到。由于标志扩展ClassLoader实例(ExtClassLoader@7259da">sun.misc.Launcher$ExtClassLoader@7259da)加载了很多类型，而且又没有明确的接口将其设置为null，所以我们无法将加载MyClass类型的系统类加载器实例设置为unreachable状态，所以通过测试结果我们可以看出，MyClass类型并没有被卸载.
        
 1 public class Main { 
 2      public static void main(String[] args) { 
 3        try { 
 4          Class classLoaded = ClassLoader.getSystemClassLoader().getParent() 
 5 .loadClass("MyClass"); 
 6 
 7          System.out.println(classLoaded.getClassLoader()); 
 8 
 9          classLoaded = null; 
10 
11          System.out.println("开始GC"); 
12          System.gc(); 
13          System.out.println("GC完成"); 
14          //判断当前标准扩展类加载器是否有被引用(是否是unreachable状态) 
15          System.out.println(Main.class.getClassLoader().getParent()); 
16       } catch (Exception e) { 
17          e.printStackTrace(); 
18       } 
19    } 
20 } 

        我们增加虚拟机参数-verbose：gc来观察垃圾收集的情况，对应输出如下：
sun.misc.Launcher$ExtClassLoader@7259da 
开始GC 
[Full GC 199K->133K(1984K)， 0.0139811 secs] 
GC完成 
sun.misc.Launcher$ExtClassLoader@7259da 


    关于启动类加载器我们就不需再做相关的测试了，jvm规范和JLS中已经有明确的说明了.


    【类型卸载总结】
    通过以上的相关测试(虽然测试的场景较为简单)我们可以大致这样概括：
    1、有启动类加载器加载的类型在整个运行期间是不可能被卸载的(jvm和jls规范).
    2、被系统类加载器和标准扩展类加载器加载的类型在运行期间不太可能被卸载，因为系统类加载器实例或者标准扩展类的实例基本上在整个运行期间总能直接或者间接的访问的到，其达到unreachable的可能性极小.(当然，在虚拟机快退出的时候可以，因为不管ClassLoader实例或者Class(java.lang.Class)实例也都是在堆中存在，同样遵循垃圾收集的规则).
    3、被开发者自定义的类加载器实例加载的类型只有在很简单的上下文环境中才能被卸载，而且一般还要借助于强制调用虚拟机的垃圾收集功能才可以做到.可以预想，稍微复杂点的应用场景中(尤其很多时候，用户在开发自定义类加载器实例的时候采用缓存的策略以提高系统性能)，被加载的类型在运行期间也是几乎不太可能被卸载的(至少卸载的时间是不确定的).

      综合以上三点，我们可以默认前面的结论1， 一个已经加载的类型被卸载的几率很小至少被卸载的时间是不确定的.同时，我们可以看的出来，开发者在开发代码时候，不应该对虚拟机的类型卸载做任何假设的前提下来实现系统中的特定功能.
    
      【类型更新进一步分析】
    前面已经明确说过，被一个特定类加载器实例加载的特定类型在运行时是无法被更新的.注意这里说的
         是一个特定的类加载器实例，而非一个特定的类加载器类型.
    
        【测试场景四】
        说明：现在要删除前面已经放在工程输出目录下和扩展目录下的对应的MyClass类型对应的字节码 
        
 1 public class Main { 
 2      public static void main(String[] args) { 
 3        try { 
 4          MyURLClassLoader classLoader = new MyURLClassLoader(); 
 5          Class classLoaded1 = classLoader.loadClass("MyClass"); 
 6          Class classLoaded2 = classLoader.loadClass("MyClass"); 
 7          //判断两次加载classloader实例是否相同 
 8           System.out.println(classLoaded1.getClassLoader() == classLoaded2.getClassLoader()); 
 9 
10         //判断两个Class实例是否相同 
11           System.out.println(classLoaded1 == classLoaded2); 
12       } catch (Exception e) { 
13          e.printStackTrace(); 
14       } 
15    } 
16 } 
        输出如下：
        true
        true

        通过结果我们可以看出来，两次加载获取到的两个Class类型实例是相同的.那是不是确实是我们的自定义
       类加载器真正意义上加载了两次呢(即从获取class字节码到定义class类型…整个过程呢)?
      通过对java.lang.ClassLoader的loadClass(String name，boolean resolve)方法进行调试，我们可以看出来，第二
      次  加载并不是真正意义上的加载，而是直接返回了上次加载的结果.

       说明：为了调试方便， 在Class classLoaded2 = classLoader.loadClass("MyClass");行设置断点，然后单步跳入， 可以看到第二次加载请求返回的结果直接是上次加载的Class实例. 调试过程中的截图 最好能自己调试一下).
      
     
        【测试场景五】同一个类加载器实例重复加载同一类型
        说明：首先要对已有的用户自定义类加载器做一定的修改，要覆盖已有的类加载逻辑， MyURLClassLoader.java类简要修改如下：重新运行测试场景四中的测试代码
      
 1 public class MyURLClassLoader extends URLClassLoader { 
 2     //省略部分的代码和前面相同，只是新增如下覆盖方法 
 3     /* 
 4     * 覆盖默认的加载逻辑，如果是D：/classes/下的类型每次强制重新完整加载 
 5     * 
 6     * @see java.lang.ClassLoader#loadClass(java.lang.String) 
 7     */ 
 8     @Override 
 9     public Class<?> loadClass(String name) throws ClassNotFoundException { 
10      try { 
11        //首先调用系统类加载器加载 
12         Class c = ClassLoader.getSystemClassLoader().loadClass(name); 
13        return c; 
14      } catch (ClassNotFoundException e) { 
15       // 如果系统类加载器及其父类加载器加载不上，则调用自身逻辑来加载D：/classes/下的类型 
16          return this.findClass(name); 
17      } 
18   } 
19 }
说明： this.findClass(name)会进一步调用父类URLClassLoader中的对应方法，其中涉及到了defineClass(String name)的调用，所以说现在类加载器MyURLClassLoader会针对D：/classes/目录下的类型进行真正意义上的强制加载并定义对应的类型信息.

        测试输出如下：
        Exception in thread "main" java.lang.LinkageError： duplicate class definition： MyClass
       at java.lang.ClassLoader.defineClass1(Native Method)
       at java.lang.ClassLoader.defineClass(ClassLoader.java：620)
       at java.security.SecureClassLoader.defineClass(SecureClassLoader.java：124)
       at java.net.URLClassLoader.defineClass(URLClassLoader.java：260)
       at java.net.URLClassLoader.access$100(URLClassLoader.java：56)
       at java.net.URLClassLoader$1.run(URLClassLoader.java：195)
       at java.security.AccessController.doPrivileged(Native Method)
       at java.net.URLClassLoader.findClass(URLClassLoader.java：188)
       at MyURLClassLoader.loadClass(MyURLClassLoader.java：51)
       at Main.main(Main.java：27)
      
       结论：如果同一个类加载器实例重复强制加载(含有定义类型defineClass动作)相同类型，会引起java.lang.LinkageError: duplicate class definition.
    
       【测试场景六】同一个加载器类型的不同实例重复加载同一类型
       
 1 public class Main { 
 2     public static void main(String[] args) { 
 3       try { 
 4         MyURLClassLoader classLoader1 = new MyURLClassLoader(); 
 5         Class classLoaded1 = classLoader1.loadClass("MyClass"); 
 6         MyURLClassLoader classLoader2 = new MyURLClassLoader(); 
 7         Class classLoaded2 = classLoader2.loadClass("MyClass"); 
 8 
 9         //判断两个Class实例是否相同 
10          System.out.println(classLoaded1 == classLoaded2); 
11       } catch (Exception e) { 
12          e.printStackTrace(); 
13       } 
14    } 
15 } 

      测试对应的输出如下：
      false
     
    
        【类型更新总结】   
     由不同类加载器实例重复强制加载(含有定义类型defineClass动作)同一类型不会引起java.lang.LinkageError错误， 但是加载结果对应的Class类型实例是不同的，即实际上是不同的类型(虽然包名+类名相同). 如果强制转化使用，会引起ClassCastException.(说明： 头一段时间那篇文章中解释过，为什么不同类加载器加载同名类型实际得到的结果其实是不同类型， 在JVM中一个类用其全名和一个加载类ClassLoader的实例作为唯一标识，不同类加载器加载的类将被置于不同的命名空间).


        应用场景：我们在开发的时候可能会遇到这样的需求，就是要动态加载某指定类型class文件的不同版本，以便能动态更新对应功能.
         建议：
        1. 不要寄希望于等待指定类型的以前版本被卸载，卸载行为对java开发人员透明的.
        2. 比较可靠的做法是，每次创建特定类加载器的新实例来加载指定类型的不同版本，这种使用场景下，一般就要牺牲缓存特定类型的类加载器实例以带来性能优化的策略了.对于指定类型已经被加载的版本， 会在适当时机达到unreachable状态，被unload并垃圾回收.每次使用完类加载器特定实例后(确定不需要再使用时)， 将其显示赋为null， 这样可能会比较快的达到jvm 规范中所说的类加载器实例unreachable状态， 增大已经不再使用的类型版本被尽快卸载的机会.
        3. 不得不提的是，每次用新的类加载器实例去加载指定类型的指定版本，确实会带来一定的内存消耗，一般类加载器实例会在内存中保留比较长的时间. 在bea开发者网站上找到一篇相关的文章(有专门分析ClassLoader的部分)：http：//dev2dev.bea.com/pub/a/2005/06/memory_leaks.html

           写的过程中参考了jvm规范和jls， 并参考了sun公司官方网站上的一些bug的分析文档。

           欢迎大家批评指正！


本博客中的所有文章、随笔除了标题中含有引用或者转载字样的，其他均为原创。转载请注明出处，谢谢！

ivaneeo 2011-06-16 20:05 发表评论
]]>hbase单独启动region serverhttp://www.blogjava.net/ivanwan/archive/2011/06/16/352414.htmlivaneeoivaneeoThu, 16 Jun 2011 04:10:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/16/352414.htmlhttp://www.blogjava.net/ivanwan/comments/352414.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/16/352414.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/352414.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352414.html启动集群中所有的regionserver
./hbase-daemons.sh start regionserver
启动某个regionserver
./hbase-daemon.sh start regionserver


ivaneeo 2011-06-16 12:10 发表评论
]]>Htable数据的访问问题http://www.blogjava.net/ivanwan/archive/2011/06/15/352369.htmlivaneeoivaneeoWed, 15 Jun 2011 09:17:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/15/352369.htmlhttp://www.blogjava.net/ivanwan/comments/352369.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/15/352369.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/352369.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352369.html
  					 				
 				
  					  					  					
 
做了几天工程，对HBase中的表操作熟悉了一下。下面总结一下常用的表操作和容易出错的几个方面。当然主要来源于大牛们的文章。我在前人的基础上稍作解释。
 
1.连接HBase中的表testtable,用户名：root,密码：root
 
public void ConnectHBaseTable()
 {
  Configuration conf = new Configuration();       
        conf.set("hadoop.job.ugi", "root,root");      
  HBaseConfiguration config = new HBaseConfiguration();
  try
  {
   table = new HTable(config, "testtable");
  }catch(Exception e){e.printStackTrace();}
 }
 
2.根据行名name获得一行数据，存入Result.注意HBase中的表数据是字节存储的。
 
   下面的例子表示获得行名为name的行的famA列族col1列的数据。
 
      String rowId = "name";
      Get get = new Get(rowId);
      Result result = hTable.get(get);
      byte[] value = result.getValue(famA, col1);
      System.out.println(Bytes.toString(value));
 
3.向表中存数据
 
      下面的例子表示写入一行。行名为abcd，famA列族col1列的数据为"hello world!"。
 
      byte[] rowId = Bytes.toBytes("abcd");
      byte[] famA = Bytes.toBytes("famA");
      byte[] col1 = Bytes.toBytes("col1");
      Put put = new Put(rowId).
         add(famA, col1, Bytes.toBytes("hello world!"));
      hTable.put(put);
     
 
4.扫描的用法（scan）：便于获得自己需要的数据，相当于SQL查询。
 
      byte[] famA = Bytes.toBytes("famA");
      byte[] col1 = Bytes.toBytes("col1");  

      HTable hTable = new HTable("test");  
 
      //表示要查询的行名是从a开始，到z结束。
      Scan scan = new Scan(Bytes.toBytes("a"), Bytes.toBytes("z"));
     
 
      //用scan.setStartRow(Bytes.toBytes(""));设置起始行
 
      //用scan.setStopRow(Bytes.toBytes(""));设置终止行
  
      //表示查询famA族col1列
 
      scan.addColumn(famA, col1);  
 
      //注意，下面是filter的写法。相当于SQL的where子句
 
      //表示famA族col1列的数据等于"hello world!"
      SingleColumnValueFilter singleColumnValueFilterA = new SingleColumnValueFilter(
           famA, col1, CompareOp.EQUAL, Bytes.toBytes("hello world!"));
      singleColumnValueFilterA.setFilterIfMissing(true);  
 
      //表示famA族col1列的数据等于"hello hbase!"
      SingleColumnValueFilter singleColumnValueFilterB = new SingleColumnValueFilter(
           famA, col1, CompareOp.EQUAL, Bytes.toBytes("hello hbase!"));
      singleColumnValueFilterB.setFilterIfMissing(true);  
      
 
      //表示famA族col1列的数据是两者中的一个
      FilterList filter = new FilterList(Operator.MUST_PASS_ONE, Arrays
           .asList((Filter) singleColumnValueFilterA,
                singleColumnValueFilterB));  

      scan.setFilter(filter);  

      ResultScanner scanner = hTable.getScanner(scan);  
      //遍历每个数据
      for (Result result : scanner) {
         System.out.println(Bytes.toString(result.getValue(famA, col1)));
      }
 
5.上面的代码容易出错的地方在于，需要导入HBase的类所在的包。导入时需要选择包，由于类可能出现在HBase的各个子包中，所以要选择好，下面列出常用的包。尽量用HBase的包
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.FilterList.Operator;
import org.apache.hadoop.hbase.util.Bytes;
 
import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Arrays;
import java.util.Date;
  
6.下面列出HBase常用的操作
 
（1）时间戳到时间的转换.单一的时间戳无法给出直观的解释。
 
public String GetTimeByStamp(String timestamp)
 {
 
  long datatime= Long.parseLong(timestamp); 
     Date date=new Date(datatime);   
     SimpleDateFormat   format=new   SimpleDateFormat("yyyy-MM-dd HH:MM:ss");   
     String timeresult=format.format(date);
     System.out.println("Time : "+timeresult);
     return timeresult;
 }
 
（2）时间到时间戳的转换。注意时间是字符串格式。字符串与时间的相互转换，此不赘述。
 
public String GetStampByTime(String time)
 {
  String Stamp="";
  SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
  Date date;
  try
  {
   date=sdf.parse(time);
   Stamp=date.getTime()+"000";
   System.out.println(Stamp);
  }catch(Exception e){e.printStackTrace();}
  return Stamp;
 }
   
上面就是我的一点心得。以后碰到什么问题，再来解决。
  
参考文献：http://www.nearinfinity.com/blogs/aaron_mccurry/using_hbase-dsl.html


ivaneeo 2011-06-15 17:17 发表评论
]]>HBase性能调优http://www.blogjava.net/ivanwan/archive/2011/06/15/352350.htmlivaneeoivaneeoWed, 15 Jun 2011 05:39:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/15/352350.htmlhttp://www.blogjava.net/ivanwan/comments/352350.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/15/352350.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/352350.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352350.html
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。
 
配置优化
 
zookeeper.session.timeout
 默认值：3分钟（180000ms）
 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会 被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的 RegionServer接管.
 调优：
 这个timeout决定了RegionServer是否能够及时的failover。设置成1分钟或更低，可以减少因等待超时而被延长的failover时间。
 不过需要注意的是，对于一些Online应用，RegionServer的宕机到恢复时间本身就很短的（网络闪断，crash等故障，运维可快速介入）， 如果调低timeout时间，会得不偿失。因为当ReigonServer被正式从RS集群中移除时，HMaster就开始做balance了，当故障的 RS快速恢复后，这个balance动作是毫无意义的，反而会使负载不均匀，给RS带来更多负担。
  
hbase.regionserver.handler.count
 默认值：10
 说明：RegionServer的请求处理IO线程数。
 调优：
 这个参数的调优与内存息息相关。
 较少的IO线程，适用于处理单次请求内存消耗较高的Big PUT场景（大容量单次PUT或设置了较大cache的scan，均属于Big PUT）或ReigonServer的内存比较紧张的场景。
 较多的IO线程，适用于单次请求内存消耗低，TPS要求非常高的场景。
 这里需要注意的是如果server的region数量很少，大量的请求都落在一个region上，因快速充满memstore触发flush导致的读写锁会影响全局TPS，不是IO线程数越高越好。
 压测时，开启Enabling RPC-level logging，可以同时监控每次请求的内存消耗和GC的状况，最后通过多次压测结果来合理调节IO线程数。
 这里是一个案例 Hadoop and HBase Optimization for Read Intensive Search Applications，作者在SSD的机器上设置IO线程数为100，仅供参考。
 
hbase.hregion.max.filesize
 默认值：256M
 说明：在当前ReigonServer上单个Reigon的大小，单个Region超过指定值时，这个Region会被自动split成更小的region。
 调优：
 小region对split和compaction友好，因为拆分region或compact小region里的storefile速度很快，内存占用低。缺点是split和compaction会很频繁。
 特别是数量较多的小region不停地split, compaction，会使响应时间波动很大，region数量太多不仅给管理上带来麻烦，甚至引发一些Hbase的bug。
 一般512以下的都算小region。
 
大region，则不太适合经常split和compaction，因为做一次compact和split会产生较长时间的停顿，对应用的读写性能冲击非常大。此外，大region意味着较大的storefile，compaction时对内存也是一个挑战。
 当然，大region还是有其用武之地，你只要在某个访问量低峰的时间点统一做compact和split，大region就可以发挥优势了，毕竟它能保证绝大多数时间平稳的读写性能。
 
既然split和compaction如此影响性能，有没有办法去掉？
 compaction是无法避免的，split倒是可以从自动调整为手动。
 只要通过将这个参数值调大到某个很难达到的值，比如100G，就可以间接禁用自动split（RegionServer不会对未到达100G的region做split）。
 再配合RegionSplitter这个工具，在需要split时，手动split。
 手动split在灵活性和稳定性上比起自动split要高很多，相反，管理成本增加不多，比较推荐online实时系统使用。
 
内存方面，小region在设置memstore的大小值上比较灵活，大region则过大过小都不行，过大会导致flush时app的IO wait增高，过小则因store file过多读性能降低。
 
hbase.regionserver.global.memstore.upperLimit/lowerLimit
 
默认值：0.4/0.35
 upperlimit说明：hbase.hregion.memstore.flush.size 这个参数的作用是   当单个memstore达到指定值时，flush该memstore。但是，一台ReigonServer可能有成百上千个memstore，每个 memstore也许未达到flush.size，jvm的heap就不够用了。该参数就是为了限制memstores占用的总内存。
 当ReigonServer内所有的memstore所占用的内存综合达到heap的40%时，HBase会强制block所有的更新并flush这些memstore以释放所有memstore占用的内存。
 lowerLimit说明：  同upperLimit，只不过当全局memstore的内存达到35%时，它不会flush所有的memstore，它会找一些内存占用较大的 memstore，个别flush，当然更新还是会被block。lowerLimit算是一个在全局flush前的补救措施。可以想象一下，如果 memstore需要在一段时间内全部flush，且这段时间内无法接受写请求，对HBase集群的性能影响是很大的。
 调优：这是一个Heap内存保护参数，默认值已经能适用大多数场景。它的调整一般是为了配合某些专属优化，比如读密集型应用，将读缓存开大，降低该值，腾出更多内存给其他模块使用。
 这个参数会给使用者带来什么影响？
 比如，10G内存，100个region，每个memstore  64M，假设每个region只有一个memstore，那么当100个memstore平均占用到50%左右时，就会达到lowerLimit的限制。 假设此时，其他memstore同样有很多的写请求进来。在那些大的region未flush完，就可能又超过了upperlimit，则所有 region都会被block，开始触发全局flush。
 
hfile.block.cache.size
 
默认值：0.2
 说明：storefile的读缓存占用Heap的大小百分比，0.2表示20%。该值直接影响数据读的性能。
 调优：当然是越大越好，如果读比写少，开到0.4-0.5也没问题。如果读写较均衡，0.3左右。如果写比读多，果断 默认吧。设置这个值的时候，你同时要参考 hbase.regionserver.global.memstore.upperLimit ，该值是 memstore占heap的最大百分比，两个参数一个影响读，一个影响写。如果两值加起来超过80-90%，会有OOM的风险，谨慎设置。
 
hbase.hstore.blockingStoreFiles
 
默认值：7
 说明：在compaction时，如果一个Store（Coulmn Family）内有超过7个storefile需要合并，则block所有的写请求，进行flush，限制storefile数量增长过快。
 调优：block请求会影响当前region的读写性能，将值设为单个region可以支撑的最大store  file数量会是个不错的选择。最大storefile数量可通过region size/memstore size来计算。如果你将region  size设为无限大，那么你需要预估一个region可能产生的最大storefile数。
 
hbase.hregion.memstore.block.multiplier
 
默认值：2
 说明：当一个region里的memstore超过单个memstore.size两倍的大小时，block该 region的所有请求，进行flush，释放内存。虽然我们设置了memstore的总大小，比如64M，但想象一下，在最后63.9M的时候，我 Put了一个100M的数据或写请求量暴增，最后一秒钟put了1万次，此时memstore的大小会瞬间暴涨到超过预期的memstore.size。 这个参数的作用是当memstore的大小增至超过memstore.size时，block所有请求，遏制风险进一步扩大。
 调优：  这个参数的默认值还是比较靠谱的。如果你预估你的正常应用场景（不包括异常）不会出现突发写或写的量可控，那么保持默认值即可。如果正常情况下，你的写量 就会经常暴增，那么你应该调大这个倍数并调整其他参数值，比如hfile.block.cache.size和 hbase.regionserver.global.memstore.upperLimit/lowerLimit，以预留更多内存，防止HBase  server OOM。
 
其他
 
启用LZO压缩
 LZO对比Hbase默认的GZip，前者性能较高，后者压缩比较高，具体参见 Using LZO Compression 。对于想提高HBase读写性能的开发者，采用LZO是比较好的选择。对于非常在乎存储空间的开发者，则建议保持默认。
 
不要在一张表里定义太多的Column Family
 
Hbase目前不能良好的处理超过2-3个CF的表。因为某个CF在flush发生时，它邻近的CF也会因关联效应被触发flush，最终导致系统产生很多IO。
 
批量导入
 
在批量导入数据到Hbase前，你可以通过预先创建region，来平衡数据的负载。详见 Table Creation: Pre-Creating Regions
 
Hbase客户端优化
 
AutoFlush
 
将HTable的setAutoFlush设为false，可以支持客户端批量更新。即当Put填满客户端flush缓存时，才发送到服务端。
 默认是true。
 
Scan Caching
 
scanner一次缓存多少数据来scan（从服务端一次抓多少数据回来scan）。
 默认值是 1，一次只取一条。
 
Scan Attribute Selection
 
scan时建议指定需要的Column Family，减少通信量，否则scan默认会返回整个row的所有数据（所有Coulmn Family）。
 
Close ResultScanners
 
通过scan取完数据后，记得要关闭ResultScanner，否则RegionServer可能会出现问题。
 
Optimal Loading of Row Keys
 
当你scan一张表的时候，返回结果只需要row key（不需要CF, qualifier,values,timestaps）时，你可以在scan实例中添加一个filterList，并设置 MUST_PASS_ALL操作，filterList中add FirstKeyOnlyFilter或KeyOnlyFilter。这样可以减少网络通信量。
 
Turn off WAL on Puts
 
当Put某些非重要数据时，你可以设置writeToWAL(false)，来进一步提高写性能。writeToWAL(false)会在Put时放弃写WAL log。风险是，当RegionServer宕机时，可能你刚才Put的那些数据会丢失，且无法恢复。
 
启用Bloom Filter
 
Bloom Filter通过空间换时间，提高读操作性能。
 			
转载请注明原文链接：http://kenwublog.com/hbase-performance-tuning


ivaneeo 2011-06-15 13:39 发表评论
]]>HBase Compound Indexeshttp://www.blogjava.net/ivanwan/archive/2011/06/11/352094.htmlivaneeoivaneeoSat, 11 Jun 2011 08:21:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/11/352094.htmlhttp://www.blogjava.net/ivanwan/comments/352094.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/11/352094.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/352094.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352094.html
We recently set up HBase and HBase-trx (from  https://github.com/hbase-trx) to use multiple-column indexes with this  code.  After you compile it, just copy the jar and the hbase-trx jar  into your hbase’s lib folder and you should be good to to!
 
When you create a composite index, you can see the metadata for the  index by looking at the table description.  One of the properties will  read “INDEXES =>” followed by index names and ‘family:qualifier’  style column names in the index.
 
KeyGeneratorFactory:
 
 package com.ir.store.hbase.indexes;
 
 
 
import java.util.List;
 
import org.apache.hadoop.hbase.client.tableindexed.IndexKeyGenerator;
 
public class KeyGeneratorFactory {
 
 
 public static IndexKeyGenerator getInstance(List columns) {
 return new HBaseIndexKeyGenerator(columns);
 }
 }
 
 HBaseIndexKeyGenerator:
 
 package com.ir.store.hbase.indexes;
 
 
 
import java.io.DataInput;
 import java.io.DataOutput;
 import java.io.IOException;
 import java.util.ArrayList;
 import java.util.List;
 import java.util.Map;
 import org.apache.hadoop.hbase.client.tableindexed.IndexKeyGenerator;
 import org.apache.hadoop.hbase.util.Bytes;
 
public class HBaseIndexKeyGenerator extends Object implements IndexKeyGenerator {
 public static byte[] KEYSEPERATOR = "~;?".getBytes();
 
private int columnCount;
 private List columnNames = new ArrayList();
 
public HBaseIndexKeyGenerator(List memberColumns) {
 // For new key generators
 columnNames = memberColumns;
 columnCount = memberColumns.size();
 }
 
public HBaseIndexKeyGenerator() {
 // Hollow constructor for deserializing -- should call readFields shortly
 columnCount = 0;
 }
 
public void readFields(DataInput binaryInput) throws IOException {
 columnCount = binaryInput.readInt();
 for (int currentColumn = 0; currentColumn < columnCount; currentColumn++)
 columnNames.add(Bytes.readByteArray(binaryInput));
 }
 
public void write(DataOutput binaryOutput) throws IOException {
 binaryOutput.writeInt(columnCount);
 for (byte[] columnName : columnNames)
 Bytes.writeByteArray(binaryOutput, columnName);
 }
 
  public byte[] createIndexKey(byte[] baseRowIdentifier, Map baseRowData) {
 byte[] indexRowIdentifier = null;
 for (byte[] columnName: columnNames) {
 if (indexRowIdentifier == null)
 indexRowIdentifier = baseRowData.get(columnName);
 else indexRowIdentifier = Bytes.add(indexRowIdentifier, HBaseIndexKeyGenerator.KEYSEPERATOR, baseRowData.get(columnName));
 }
 if (baseRowIdentifier != null)
 return Bytes.add(indexRowIdentifier, HBaseIndexKeyGenerator.KEYSEPERATOR, baseRowIdentifier);
 return indexRowIdentifier;
 }
 }

ivaneeo 2011-06-11 16:21 发表评论
]]>HBase性能深度分析http://www.blogjava.net/ivanwan/archive/2011/06/10/352071.htmlivaneeoivaneeoFri, 10 Jun 2011 15:33:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/10/352071.htmlhttp://www.blogjava.net/ivanwan/comments/352071.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/10/352071.html#Feedback1http://www.blogjava.net/ivanwan/comments/commentRss/352071.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352071.html
对于Bigtable类型的分布式数据库应用来说，用户往往会对其性能状况有极大的兴趣，这其中又对实时数据插入性能更为关注。HBase作为Bigtable的一个实现，在这方面的性能会如何呢？这就需要通过测试数据来说话了。
数据插入性能测试的设计场景是这样的，取随机值的Rowkey长度为2000字节，固定值的Value长度为4000字节，由于单行Row插入速度太快，系统统计精度不够，所以将插入500行Row做一次耗时统计。
这里要对HBase的特点做个说明，首先是Rowkey值为何取随机数，这是因为HBase是对Rowkey进行排序的，随机Rowkey将被分配到不同的region上，这样才能发挥出分布式数据库的性能优点。而Value对于HBase来说不会进行任何解析，其数据是否变化，对性能是不应该有任何影响的。同时为了简单起见，所有的数据都将只插入到一个表格的同一个Column中。
在测试之初，需要对集群进行调优，关闭可能大量耗费内存、带宽以及CPU的服务，例如Apache的Http服务。保持集群的宁静度。此外，为了保证测试不受干扰，Hbase的集群系统需要被独立，以保证不与HDFS所在的Hadoop集群有所交叉。
那么做好一切准备，就开始进行数据灌入，客户端从Zookeeper上查询到Regionserver的地址后，开始源源不断的向Hbase的Regionserver上喂入Row。
这里，我写了一个通过JFreeChart来实时生成图片的程序，每3分钟，喂数据的客户端会将获取到的耗时统计打印在一张十字坐标图中，这些图又被保存在制定的web站点中，并通过http服务展示出来。在通过长时间不间断的测试后，我得到了如下图形：
这个图形非常有特点，好似一条直线上，每隔一段时间就会泛起一个波浪，且两个高峰之间必有一个较矮的波浪。高峰的间隔则呈现出越来越大的趋势。而较矮的波浪恰好处于两高峰的中间位置。
为了解释这个现象，我对HDFS上Hbase所在的主目录下文件，以及被插入表格的region情况进行了实时监控，以期发现这些波浪上发生了什么事情。
回溯到客户端喂入数据的开始阶段，创建表格，在HDFS上便被创建了一个与表格同名的目录，该目录下将出现第一个region，region中会以family名创建一个目录，这个目录下才存在记录具体数据的文件。同时在该表表名目录下，还会生成一个“compaction.dir”目录，该目录将在family名目录下region文件超过指定数目时用于合并region。
当第一个region目录出现的时候，内存中最初被写入的数据将被保存到这个文件中，这个间隔是由选项“hbase.hregion.memstore.flush.size”决定的，默认是64MB，该region所在的Regionserver的内存中一旦有超过64MB的数据的时候，就将被写入到region文件中。这个文件将不断增殖，直到超过由“hbase.hregion.max.filesize”决定的文件大小时（默认是256MB，此时加上内存刷入的数据，实际最大可能到256+64M），该region将被执行split，立即被一切为二，其过程是在该目录下创建一个名为“.splits”的目录作为标记，然后由Regionserver将文件信息读取进来，分别写入到两个新的region目录中，最后再将老的region删除。这里的标记目录“.splits”将避免在split过程中发生其他操作，起到类似于多线程安全的锁功能。在新的region中，从老的region中切分出的数据独立为一个文件并不再接受新的数据（该文件大小超过了64M，最大可达到（256+64）/2=160MB），内存中新的数据将被保存到一个重新创建的文件中，该文件大小将为64MB。内存每刷新一次，region所在的目录下就将增加一个64M的文件，直到总文件数超过由“hbase.hstore.compactionThreshold”指定的数量时（默认为3），compaction过程就将被触发了。在上述值为3时，此时该region目录下，实际文件数只有两个，还有额外的一个正处于内存中将要被刷入到磁盘的过程中。Compaction过程是Hbase的一个大动作，Hbase不仅要将这些文件转移到“compaction.dir”目录进行压缩，而且在压缩后的文件超过256MB时，还必须立即进行split动作。这一系列行为在HDFS上可谓是翻山倒海，影响颇大。待Compaction结束之后，后续的split依然会持续进行一小段时间，直到所有的region都被切割分配完毕，Hbase才会恢复平静并等待下一次数据从内存写入到HDFS的到来。
理解了上述过程，则必然对HBase的数据插入性能为何是上图所示的曲线的原因一目了然。与X轴几乎平行的直线，表明数据正在被写入HBase的Regionserver所在机器的内存中。而较低的波峰意味着Regionserver正在将内存写入到HDFS上，较高的波峰意味着Regionserver不仅正在将内存刷入到HDFS，而且还在执行Compaction和Split两种操作。如果调整“hbase.hstore.compactionThreshold”的值为一个较大的数量，例如改成5，可以预见，在每两个高峰之间必然会等间隔的出现三次较低的波峰，并可预见到，高峰的高度将远超过上述值为3时的高峰高度（因为Compaction的工作更为艰巨）。由于region数量由少到多，而我们插入的Row的Rowkey是随机的，因此每一个region中的数据都会均匀的增加，同一段时间插入的数据将被分布到越来越多的region上，因此波峰之间的间隔时间也将会越来越长。
再次理解上述论述，我们可以推断出Hbase的数据插入性能实际上应该被分为三种情况，即直线状态、低峰状态和高峰状态。在这三种情况下得到的性能数据才是最终Hbase数据插入性能的真实描述。那么提供给用户的数据该是采取哪一个呢？我认为直线状态由于其所占时间会较长，尤其在用户写入数据的速度也许并不是那么快的情况下，所以这个状态下得到的性能数据结果更应该提供给用户。


ivaneeo 2011-06-10 23:33 发表评论
]]>HBase的性能优化和相关测试http://www.blogjava.net/ivanwan/archive/2011/06/10/352069.htmlivaneeoivaneeoFri, 10 Jun 2011 15:14:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/10/352069.htmlhttp://www.blogjava.net/ivanwan/comments/352069.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/10/352069.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/352069.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/352069.html
HBase的写效率还是很高的，但其随机读取效率并不高
可以采取一些优化措施来提高其性能，如：
1. 启用lzo压缩，见这里
2. 增大hbase.regionserver.handler.count数为100
3. 增大hfile.block.cache.size为0.4，提高cache大小
4. 增大hbase.hstore.blockingStoreFiles为15
5. 启用BloomFilter，在HBase0,89中可以设置
6.Put时可以设置setAutoFlush为false，到一定数目后再flushCommits
 
在14个Region Server的集群上，新建立一个lzo压缩表
测试的Put和Get的性能如下：
1. Put数据：
单线程灌入1.4亿数据，共花费50分钟，每秒能达到4万个，这个性能确实很好了，不过插入的value比较小，只有不到几十个字节
多线程put，没有测试，因为单线程的效率已经相当高了
2. Get数据：
在没有任何Block Cache，而且是Random Read的情况：
单线程平均每秒只能到250个左右
6个线程平均每秒能达到1100个左右
16个线程平均每秒能达到2500个左右
有BlockCache（曾经get过对应的row，而且还在cache中）的情况：
单线程平均每秒能到3600个左右
6个线程平均每秒能达到1.2万个左右
16个线程平均每秒能达到2.5万个左右


ivaneeo 2011-06-10 23:14 发表评论
]]>HADOOP报错Incompatible namespaceIDshttp://www.blogjava.net/ivanwan/archive/2011/06/09/351981.htmlivaneeoivaneeoThu, 09 Jun 2011 06:20:00 GMThttp://www.blogjava.net/ivanwan/archive/2011/06/09/351981.htmlhttp://www.blogjava.net/ivanwan/comments/351981.htmlhttp://www.blogjava.net/ivanwan/archive/2011/06/09/351981.html#Feedback0http://www.blogjava.net/ivanwan/comments/commentRss/351981.htmlhttp://www.blogjava.net/ivanwan/services/trackbacks/351981.html
今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态
 
admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/hadoop dfsadmin -report
 Configured Capacity: 0 (0 KB)
 Present Capacity: 0 (0 KB)
 DFS Remaining: 0 (0 KB)
 DFS Used: 0 (0 KB)
 DFS Used%: ?%
 
 -------------------------------------------------
 Datanodes available: 0 (0 total, 0 dead)
  
使用bin/stop-all.sh关闭HADOOP
  
admin@adw1:/home/admin/joe.wangh/hadoop-0.19.2>bin/stop-all.sh
 stopping jobtracker
 172.16.197.192: stopping tasktracker
 172.16.197.193: stopping tasktracker
 stopping namenode
 172.16.197.193: no datanode to stop
 172.16.197.192: no datanode to stop 
 172.16.197.191: stopping secondarynamenode
  
哦，看到了吧，发现datanode前面并没有启动起来。去DATANODE上查看一下日志
 
admin@adw2:/home/admin/joe.wangh/hadoop-0.19.2/logs>vi hadoop-admin-datanode-adw2.hst.ali.dw.alidc.net.log
 
 ************************************************************/
 2010-07-21 10:12:11,987 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:  Incompatible namespaceIDs in  /home/admin/joe.wangh/hadoop/data/dfs.data.dir: namenode namespaceID =  898136669; datanode namespaceID = 2127444065 
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233)
         at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:288)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:206)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1239)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1194)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1202)
         at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1324)
 ......
  
错误提示namespaceIDs不一致。 
  
下面给出两种解决办法，我使用的是第二种。 
 
   
 
Workaround 1: Start from scratch   
 
I can testify that the following steps solve this error, but the side effects won't make you happy (me neither). The crude workaround I have found is to:  
 
1.       stop the cluster  
 
2.       delete the data directory on the problematic datanode: the directory is specified by dfs.data.dir in conf/hdfs-site.xml; if you followed this tutorial, the relevant directory is /usr/local/hadoop-datastore/hadoop-hadoop/dfs/data  
 
3.       reformat the namenode (NOTE: all HDFS data is lost during this process!)  
 
4.       restart the cluster  
 
When deleting all the HDFS data and starting from scratch does not sound like a good idea (it might be ok during the initial setup/testing), you might give the second approach a try.  
 
 Workaround 2: Updating namespaceID of problematic datanodes   
 
Big thanks to Jared Stehler for the following suggestion. I have not tested it myself yet, but feel free to try it out and send me your feedback. This workaround is "minimally invasive" as you only have to edit one file on the problematic datanodes:  
 
1.       stop the datanode  
 
2.       edit the value of namespaceID in <dfs.data.dir>/current/VERSION to match the value of the current namenode  
 
3.       restart the datanode  
 
If you followed the instructions in my tutorials, the full path of the relevant file is /usr/local/hadoop-datastore/hadoop-hadoop/dfs/data/current/VERSION (background: dfs.data.dir is by default set to ${hadoop.tmp.dir}/dfs/data, and we set hadoop.tmp.dir to /usr/local/hadoop-datastore/hadoop-hadoop).  
 
If you wonder how the contents of VERSION look like, here's one of mine:  
 
#contents of <dfs.data.dir>/current/VERSION 
 
namespaceID=393514426 
 
storageID=DS-1706792599-10.10.10.1-50010-1204306713481 
 
cTime=1215607609074 
 
storageType=DATA_NODE 
 
layoutVersion=-13 
 
 
 
原因:每次namenode  format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode  format清空了namenode下的数据,但是没有晴空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下 的所有目录.


ivaneeo 2011-06-09 14:20 发表评论
]]>