BlogJava-paulwong-随笔分类-LOG ANALYST BIG DATA SYSTEM

开源分布式搜索平台ELK+Redis+Syslog-ng实现日志实时搜索

paulwong — Tue, 17 Feb 2015 08:18:00 GMT

摘要: logstash + elasticsearch + Kibana+Redis+Syslog-ngElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日... 阅读全文

paulwong 2015-02-17 16:18 发表评论

用Kibana和logstash快速搭建实时日志查询、收集与分析系统

paulwong — Tue, 30 Sep 2014 05:14:00 GMT

摘要: Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。kibana 也是一个开源和免费的工具，他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面说到这里... 阅读全文

paulwong 2014-09-30 13:14 发表评论

logstash最佳实践

paulwong — Tue, 30 Sep 2014 03:24:00 GMT

0. 简介

1. 基础知识
1.1. 介绍
1.2. 安装
1.3. Hello World
1.4. 配置语法

2. 输入插件(Input)
2.1. 标准输入(Stdin)
2.2. 读取文件(File)
2.3. 读取网络数据(TCP)
2.4. 读取 Syslog 数据
2.5. 读取 Redis 数据

3. 编码插件(Codec)
3.1. 采用 JSON 编码
3.2. 合并多行数据(Multiline)

4. 过滤器插件(Filter)
4.1. Grok 正则捕获
4.2. 时间处理(Date)
4.3. 数据修改(Mutate)
4.4. GeoIP 查询归类
4.5. UserAgent 匹配归类
4.6. Key-Value 切分
4.7. 随心所欲的 Ruby 处理
4.8. 数值统计(Metrics)

5. 输出插件(Output)
5.1. 标准输出(Stdout)
5.2. 保存成文件(File)
5.3. 保存进 Elasticsearch
5.4. 输出到 Redis
5.5. 输出到 Statsd
5.6. 报警到 Nagios
5.7. 发送邮件(Email)
5.8. 调用命令执行(Exec)

6. 尚未进入官方库的常用插件
6.1. Kafka
6.2. HDFS
6.3. Scribe

7. 深入了解
7.1. 自己写一个插件
7.2. 为什么用 JRuby? 能用 MRI 运
7.3. 其他类似项目

paulwong 2014-09-30 11:24 发表评论

Logstash logo开源日志管理 Logstash

paulwong — Wed, 20 Aug 2014 01:22:00 GMT

logstash日志处理采用队列ZMQ，压力会很好的被缓冲，针对高并发的大数据量的日志处理是没有问题的，日志利用ES存放，就是个基于lucene的全文检索数据库，也不存在数据量的问题。

logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。
你可以用它来统一对应用程序日志进行收集管理，提供 Web 接口用于查询和统计。

http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash

paulwong 2014-08-20 09:22 发表评论

NoSql存储日志数据之Spring+Logback+Hbase深度集成

paulwong — Sat, 05 Jul 2014 15:14:00 GMT

http://www.cnblogs.com/xguo/p/3298956.html

paulwong 2014-07-05 23:14 发表评论

Will be reviewing a new Apache Nutch book by Packt

paulwong — Tue, 28 Jan 2014 12:00:00 GMT

Will be reviewing a new Apache Nutch book by Packt: http://www.packtpub.com/web-crawling-and-data-mining-with-apache-nutch/book

paulwong 2014-01-28 20:00 发表评论

ELASTICSEARCH资源

paulwong — Thu, 12 Sep 2013 09:51:00 GMT

加索引：
http://www.elasticsearch.org/guide/reference/api/index_/

查询：
http://www.elasticsearch.org/blog/your-data-your-search/

JAVA API，注意端口是9300，不是9200
http://stackoverflow.com/questions/16670219/why-cant-i-connect-to-elasticsearch-through-java-api
http://www.elasticsearch.org/guide/reference/java-api/client/

书籍
http://fuxiaopang.gitbooks.io/learnelasticsearch/getting_started/README.html

paulwong 2013-09-12 17:51 发表评论

KAFKA资源

paulwong — Wed, 11 Sep 2013 07:22:00 GMT

Running a Multi-Broker Apache Kafka 0.8 Cluster on a Single Node
http://www.michael-noll.com/blog/2013/03/13/running-a-multi-broker-apache-kafka-cluster-on-a-single-node/

Kafka部署与代码实例
http://shift-alt-ctrl.iteye.com/blog/1930791

Flume-ng+Kafka+storm的学习笔记
http://blog.csdn.net/zxcvg/article/details/18600335

Storm应用系列之——集成Kafka(0.8版的KAFKA)
http://blog.csdn.net/xeseo/article/details/18615761

paulwong 2013-09-11 15:22 发表评论

STORM启动与部署TOPOLOGY

paulwong — Wed, 11 Sep 2013 03:00:00 GMT

启动ZOOPKEEPER
zkServer.sh start
启动NIMBUS
storm nimbus &
启动SUPERVISOR
storm supervisor &
启动UI
storm ui &
部署TOPOLOGY
storm jar /opt/hadoop/loganalyst/storm-dependend/data/teststorm-1.0.jar teststorm.TopologyMain /opt/hadoop/loganalyst/storm-dependend/data/words.txt
删除TOPOLOGY
storm kill {toponame}
激活TOPOLOGY
storm active {toponame}
不激活TOPOLOGY
storm deactive {toponame}
列出所有TOPOLOGY
storm list

paulwong 2013-09-11 11:00 发表评论

STORM资源

paulwong — Sun, 08 Sep 2013 11:59:00 GMT

Install Storm
http://www.jansipke.nl/installing-a-storm-cluster-on-centos-hosts/
http://www.cnblogs.com/kemaswill/archive/2012/10/24/2737833.html
http://abentotoro.blog.sohu.com/197023262.html
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html

使用 Twitter Storm 处理实时的大数据
http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/

Storm数据流模型的分析及讨论
http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html
http://www.cnblogs.com/panfeng412/tag/Storm/

storm-kafka
https://github.com/nathanmarz/storm-contrib/tree/master/storm-kafka

使用Storm实现实时大数据分析！
http://www.csdn.net/article/2012-12-24/2813117-storm-realtime-big-data-analysis

storm-deploy-aws
https://github.com/nathanmarz/storm-deploy/wiki

!!!知乎网站上的Twitter Storm
http://www.zhihu.com/topic/19673110

storm-elastic-search
https://github.com/hmsonline/storm-elastic-search

storm-examples
https://github.com/stormprocessor/storm-examples

kafka-aws
https://github.com/nathanmarz/kafka-deploy

Next Gen Real-time Streaming with Storm-Kafka Integration
http://blog.infochimps.com/2012/10/30/next-gen-real-time-streaming-storm-kafka-integration/

flume+kafka+storm+mysql 数据流
http://blog.csdn.net/baiyangfu/article/details/8096088
http://blog.csdn.net/baiyangfu/article/category/1244640

Kafka学习笔记
http://blog.csdn.net/baiyangfu/article/details/8096084

STORM+KAFKA
https://github.com/buildlackey/cep

STORM+KETTLE
https://github.com/buildlackey/kettle-storm

paulwong 2013-09-08 19:59 发表评论

STORM与HADOOP的比较

paulwong — Sun, 08 Sep 2013 11:49:00 GMT

对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？

等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。
如将数据导到HDFS，再运行一个MAP REDUCE JOB。
如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。
在数据每次增长一笔的时候，就进行统计JOB，结果放到DB或搜索引擎的INDEX中。
STORM就是完成这种工作的。

HADOOP与STORM比较

数据来源：HADOOP是HDFS上某个文件夹下的可能是成TB的数据，STORM是实时新增的某一笔数据
处理过程：HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，
流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)
是否结束：HADOOP最后是要结束的，STORM是没有结束状态，到最后一步时，就停在那，直到有新
数据进入时再从头开始
处理速度：HADOOP是以处理HDFS上大量数据为目的，速度慢，STORM是只要处理新增的某一笔数据即可
可以做到很快。
适用场景：HADOOP是在要处理一批数据时用的，不讲究时效性，要处理就提交一个JOB，STORM是要处理
某一新增数据时用的，要讲时效性
与MQ对比：HADOOP没有对比性，STORM可以看作是有N个步骤，每个步骤处理完就向下一个MQ发送消息，
监听这个MQ的消费者继续处理

paulwong 2013-09-08 19:49 发表评论

为什么 Storm 比 Hadoop 快？是由哪几个方面决定的？

paulwong — Sun, 08 Sep 2013 10:12:00 GMT

首先要明白Storm和Hadoop的应用领域，注意加粗、标红的关键字。

Hadoop是基于Map/Reduce模型的，处理海量数据的离线分析工具。
Storm是分布式的、实时数据流分析工具，数据是源源不断产生的，例如Twitter的Timeline。

再回到你说的速度问题，只能说Storm更适用于实时数据流，Map/Reduce模型在实时领域很难有所发挥，不能简单粗暴的说谁快谁慢。

这里的快主要是指的时延。

storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多；当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。

说一个典型的场景，几千个日志生产方产生日志文件，需要进行一些ETL操作存入一个数据库。

假设利用hadoop，则需要先存入hdfs，按每一分钟切一个文件的粒度来算（这个粒度已经极端的细了，再小的话hdfs上会一堆小文件），hadoop开始计算时，1分钟已经过去了，然后再开始调度任务又花了一分钟，然后作业运行起来，假设机器特别多，几钞钟就算完了，然后写数据库假设也花了很少的时间，这样，从数据产生到最后可以使用已经过去了至少两分多钟。

而流式计算则是数据产生时，则有一个程序去一直监控日志的产生，产生一行就通过一个传输系统发给流式计算系统，然后流式计算系统直接处理，处理完之后直接写入数据库，每条数据从产生到写入数据库，在资源充足时可以在毫秒级别完成。

当然，跑一个大文件的wordcount，本来就是一个批处理计算的模型，你非要把它放到storm上进行流式的处理，然后又非要让等所有已有数据处理完才让storm输出结果，这时候，你再把它和hadoop比较快慢，这时，其实比较的不是时延，而是比较的吞吐了。

Hadoop M/R基于HDFS，需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等，效率较低。

Storm 基于ZeroMQ这个高性能的消息通讯库，不持久化数据。

paulwong 2013-09-08 18:12 发表评论

linkedin高吞吐量分布式消息系统kafka使用手记

paulwong — Sun, 08 Sep 2013 09:32:00 GMT

kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：

通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。

设计侧重高吞吐量，用于好友动态，相关性统计，排行统计，访问频率控制，批处理等系统。大部分的消息中间件能够处理实时性要求高的消息/数据，但是对于队列中大量未处理的消息/数据在持久性方面比较弱。

kakfa的consumer使用拉的方式工作。

安装kafka
下载：http://people.apache.org/~nehanarkhede/kafka-0.7.0-incubating/kafka-0.7.0-incubating-src.tar.gz

> tar xzf kafka-.tgz
> cd kafka-
> ./sbt update
> ./sbt package
启动zkserver:
bin/zookeeper-server-start.sh config/zookeeper.properties
启动server:
bin/kafka-server-start.sh config/server.properties
就是这么简单。

使用kafka

import java.util.Arrays;
import java.util.List;
import java.util.Properties;
import kafka.javaapi.producer.SyncProducer;
import kafka.javaapi.message.ByteBufferMessageSet;
import kafka.message.Message;
import kafka.producer.SyncProducerConfig;



Properties props = new Properties();
props.put(“zk.connect”, “127.0.0.1:2181”);
props.put("serializer.class", "kafka.serializer.StringEncoder");
ProducerConfig config = new ProducerConfig(props);
Producer producer = new Producer(config);

Send a single message

// The message is sent to a randomly selected partition registered in ZK
ProducerData data = new ProducerData("test-topic", "test-message");
producer.send(data);

producer.close();

这样就是一个标准的producer。

consumer的代码

// specify some consumer properties
Properties props = new Properties();
props.put("zk.connect", "localhost:2181");
props.put("zk.connectiontimeout.ms", "1000000");
props.put("groupid", "test_group");

// Create the connection to the cluster
ConsumerConfig consumerConfig = new ConsumerConfig(props);
ConsumerConnector consumerConnector = Consumer.createJavaConsumerConnector(consumerConfig);

// create 4 partitions of the stream for topic “test”, to allow 4 threads to consume
Map>> topicMessageStreams =
    consumerConnector.createMessageStreams(ImmutableMap.of("test", 4));
List> streams = topicMessageStreams.get("test");

// create list of 4 threads to consume from each of the partitions
ExecutorService executor = Executors.newFixedThreadPool(4);

// consume the messages in the threads
for(final KafkaMessageStream stream: streams) {
  executor.submit(new Runnable() {
    public void run() {
      for(Message message: stream) {
        // process message
      }
    }
  });
}

paulwong 2013-09-08 17:32 发表评论

LOG ANALYST BIG DATA SYSTEM资源

paulwong — Sun, 08 Sep 2013 08:21:00 GMT

日志抓取端：

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。

首先当然推荐的是kafka的官网 http://kafka.apache.org/

在官网最值得参考的文章就是kafka design：http://kafka.apache.org/design.html，我的文章也基本都是参照这里的说明，大家要特别重视这篇文章，里面有好多理念都特别好，推荐多读几遍。

在OSC的翻译频道有kafka design全中文的翻译，翻得挺好的，推荐一下：http://www.oschina.net/translate/kafka-design

kafka的wiki是很不错的学习文档：https://cwiki.apache.org/confluence/display/KAFKA/Index

——————————————————————————————————

接下来就是我写的一系列文章，文章都是循序渐进的方式带你了解kafka：

关于kafka的基本知识，分布式的基础：《分布式消息系统Kafka初步》

kafka的分布式搭建，quick start：《kafka分布式环境搭建》

关于kafka的实现细节，这主要就是讲design的部分：《细节上》、《细节下》

关于kafka开发环境，scala环境的搭建：《开发环境搭建》

数据生产者，producer的用法：《producer的用法》、《producer使用注意》

数据消费者，consumer的用法：《consumer的用法》

还有些零碎的，关于通信段的源码解读：《net包源码解读》、《broker配置》

——————————————————————————————————

扩展的阅读还有下面这些：

我的好友写的关于kafka和jafka的相关博客，特别好，我有很多问题也都找他解决的，大神一般的存在：http://rockybean.github.com/ @rockybean

kafka的java化版本jafka：https://github.com/adyliu/jafka

淘宝的metaQ：https://github.com/killme2008/Metamorphosis

我最近在写的inforQ，刚开始写，我也纯粹是为了读下源码，不定期更新哈：https://github.com/ielts0909/inforq

后面一阶段可能更新点儿关于cas的东西吧，具体也没想好，最近一直出差，写代码的时间都很少

--------------------------------------------------------------------------------

0.8版本的相关更新如下：

0.8更新内容介绍：《kafka0.8版本的一些更新》

paulwong 2013-09-08 16:21 发表评论