• Redhat 5.7 64bit / CentOS 5.x
• JDK 1.6.0_45
• logstash 1.3.2 (内带kibana)
• elasticsearch 0.90.10
• redis 2.8.4

搭建的集中式日志分析平台流程如下： 

elasticsearch

1、下载elasticsearch。

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.10.tar.gz 

2、解压后，进入bin目录。执行如下命令，让elasticsearch以前台方式启动：

./elasticsearch -f 

[2014-01-16 16:21:31,825][INFO ][node                     ] [Saint Elmo] version[0.90.10], pid[32269], build[0a5781f/2014-01-10T10:18:37Z] [2014-01-16 16:21:31,826][INFO ][node                     ] [Saint Elmo] initializing ... [2014-01-16 16:21:31,836][INFO ][plugins                  ] [Saint Elmo] loaded [], sites [] [2014-01-16 16:21:35,425][INFO ][node                     ] [Saint Elmo] initialized [2014-01-16 16:21:35,425][INFO ][node                     ] [Saint Elmo] starting ... [2014-01-16 16:21:35,578][INFO ][transport                ] [Saint Elmo] bound_address {inet[/0.0.0.0:9300]}, publish_address {inet[/10.0.2.15:9300]} 

Redis

1、其安装方式可以参考我的另一篇文章Redis编译安装。

2、进入其bin目录，执行如下命令，使之在控制台输出debug信息：

./redis-server --loglevel verbose 

[32470] 16 Jan 16:45:57.330 * The server is now ready to accept connections on port 6379 [32470] 16 Jan 16:45:57.330 - 0 clients connected (0 slaves), 283536 bytes in use 

logstash日志生成器（shipper）

1、新建一个配置文件：shipper.conf，其内容如下：

input {     stdin {         type => "example"     } }  output {     stdout {         codec => rubydebug     }     redis {         host => "127.0.0.1"         port => 6379         data_type => "list"         key => "logstash"     } } 

2、启动shipper。执行如下命令：

java -jar logstash-1.3.2-flatjar.jar agent -f shipper.conf  

终端窗口将出现如下提示信息：

Using milestone 2 output plugin 'redis'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see http://logstash.net/docs/1.3.2/plugin-milestones {:level=>:warn} 

然后在终端窗口直接按回车，将出现如下信息：

{        "message" => "",       "@version" => "1",     "@timestamp" => "2014-01-16T08:15:19.400Z",           "type" => "example",           "host" => "redhat" } 

这个json信息将发送给redis， 同时redis的终端窗口将出现类似下面的提示信息：

[32470] 16 Jan 17:09:23.604 - Accepted 127.0.0.1:44640 [32470] 16 Jan 17:09:27.127 - DB 0: 1 keys (0 volatile) in 4 slots HT. [32470] 16 Jan 17:09:27.127 - 1 clients connected (0 slaves), 304752 bytes in use 

logstash日志索引器（indexer）

1、新建一个配置文件：indexer.conf，其内容如下：

input {   redis {     host => "127.0.0.1"     # these settings should match the output of the agent     data_type => "list"     key => "logstash"      # We use the 'json' codec here because we expect to read     # json events from redis.     codec => json   } }  output {   stdout { debug => true debug_format => "json"}    elasticsearch {     host => "127.0.0.1"   } } 

2、启动日志索引器。执行如下命令：

java -jar logstash-1.3.2-flatjar.jar agent -f indexer.conf  

终端窗口将出现如下提示信息：

Using milestone 2 input plugin 'redis'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see http://logstash.net/docs/1.3.2/plugin-milestones {:level=>:warn} You are using a deprecated config setting "debug_format" set in stdout. Deprecated settings will continue to work, but are scheduled for removal from logstash in the future.  If you have any questions about this, please visit the #logstash channel on freenode irc. {:name=>"debug_format", :plugin=>, :level=>:warn} 

索引器从Redis接收到信息，在终端窗口会显示类似如下的信息：

{"message":"","@version":"1","@timestamp":"2014-01-16T17:10:03.831+08:00","type":"example","host":"redhat"}{"message":"","@version":"1","@timestamp":"2014-01-16T17:13:20.545+08:00","type":"example","host":"redhat"}{ 

logstash WEB界面（kibana）

1、启动kibana。执行如下命令：

java -jar logstash-1.3.2-flatjar.jar web 

2、打开浏览器（须支持HTML5），输入地址：http://127.0.0.1:9292/index.html#/dashboard/file/logstash.json。界面效果如下： 

 

参考资料

• logstash-getting-started-centralized
• 访谈与书评：《LogStash，使日志管理更简单》

官方地址http://fluentd.org/  插件地址http://fluentd.org/plugin/

Kibana 是一个为 ElasticSearch 提供日志分析的 Web ui工具，可使用它对日志进行高效的搜索、可视化、分析等各种操作。官方地址http://www.elasticsearch.org/overview/kibana/

elasticsearch 是开源的（Apache2协议），分布式的，RESTful的，构建在Apache Lucene之上的的搜索引擎.

官方地址http://www.elasticsearch.org/overview/    中文地址 http://es-cn.medcl.net/

具体的工作流程就是利用fluentd 监控并过滤hadoop集群的系统日志，将过滤后的日志内容发给全文搜索服务ElasticSearch, 然后用ElasticSearch结合Kibana 进行自定义搜索web页面展示.

下面开始说部署方法和过程。以下安装步骤在centos 5 64位测试通过

一、  elasticsearch安装部署

elasticsearch 官方提供了几种安装包，适用于windows的zip压缩包，适用于unix/linux的tar.gz压缩包，适用于centos系统的rpm包和ubuntu的deb包。大家可以自己选择安装使用。

因为elasticsearch 需要java环境运行，首先需要安装jdk,安装步骤就省略了。

使用.tar.gz压缩包安装部署的话，先下载压缩包

# wget  https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.tar.gz

# tar zxvf elasticsearch-0.90.5.tar.gz

////////////如果是单机部署

# cd elasticsearch-0.90.5

# elasticsearch-0.90.5/bin/elasticsearch -f

就可以启动搜索服务了，查看端口9200是否打开，如果打开说明启动正常。

////////////////如果是部署集群的话，需要进行配置

例如在192.168.0.1   192.168.0.2 两台服务器部署，两台服务器都安装好jdk，下载elasticsearch 解压缩，然后编辑配置文件

//////////////////////192.168.0.1   服务器编辑文件

vi elasticsearch-0.90.5/config/elasticsearch.yml

删除cluster.name 前面注释，修改集群名称 

cluster.name: es_cluster

删除node.name前注释 ，修改节点名称，不修改的话，系统启动后会生成随即node名称。

node.name: "elastic_inst1"

node.master: true    设置该节点为主节点

/////////////////////////192.168.0.2  编辑文件

vi elasticsearch-0.90.5/config/elasticsearch.yml

删除cluster.name 前面注释，修改集群名称 

cluster.name: es_cluster

删除node.name前注释 ，修改节点名称，不修改的话，系统启动后会生成随即node名称。

node.name: "elastic_inst2"

node.master: false    设置该节点为主节点

分别启动两台服务器的服务后，在192.168.0.2的日志中会看到

 [elastic_inst2] detected_master [elastic_inst1]     日志信息。说明集群连接成功。

二、安装部署fluentd

在需要监控分析的hadoop集群节点中安装fluentd，安装步骤很简单

curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh

# vim /etc/td-agent/td-agent.conf

[html] view plaincopyprint?

1. <source>  
2.   type tail  #### tail方式采集日志  
3.   path /var/log/hadoop/mapred/hadoop-mapred-tasktracker-node-128-70.log   ### hadoop日志路径  
4.   pos_file /var/log/td-agent/task-access.log.pos  
5.   tag task.mapred  
6.   format /^(?<message>.+(WARN|ERROR).+)$/   #### 收集error 或者warn 日志。  
7. </source>  
8.   
9. <match task.**>  
10.   host 192.168.0.1  #####  <span style="font-family:Arial,Helvetica,sans-serif">elasticsearch 服务器地址</span>  
11.   type elasticsearch  
12.   logstash_format true  
13.   flush_interval 5s  
14.   include_tag_key true  
15.   tag_key mapred  
16. </match>  

# service td-agent start

三、安装部署kibana 3

kibana 3 是使用html 和javascript 开发的web ui前端工具。

下载 wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip

解压缩 unzip kibana-latest.zip

安装apache    yum -y install httpd

cp -r  kibana-latest /var/www/html

因为我将kibana3 安装在和elasticsearch同一台服务器中，所以不用修改配置文件

启动apache  service httpd start

打开浏览器 http://ip/kibana 就可以看到kibana 界面

初次使用kibana 需要自己定义模块