BlogJava-paulwong-随笔分类-KAFKAhttp://www.blogjava.net/paulwong/category/53886.htmlzh-cnWed, 14 May 2014 04:01:36 GMTWed, 14 May 2014 04:01:36 GMT60安装KAFKAhttp://www.blogjava.net/paulwong/archive/2014/05/11/413506.htmlpaulwongpaulwongSun, 11 May 2014 02:30:00 GMThttp://www.blogjava.net/paulwong/archive/2014/05/11/413506.htmlhttp://www.blogjava.net/paulwong/comments/413506.htmlhttp://www.blogjava.net/paulwong/archive/2014/05/11/413506.html#Feedback0http://www.blogjava.net/paulwong/comments/commentRss/413506.htmlhttp://www.blogjava.net/paulwong/services/trackbacks/413506.html
  • 下载KAFKA
    wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz

  • 解压
    tar -zxf kafka_2.9.2-0.8.1.1.tgz

  • 0.7之前的版本这时就要安装相应的包之类的，0.8.1之后就不用了。把命令加进PATH中
    export KAFKA_HOME=/home/ubuntu/java/kafka_2.9.2-0.8.1.1
    export PATH=$JAVA_HOME/bin:$STORM_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin:$BIN_HOME/bin:$MAVEN_HOME/bin:$PATH

  • SOURCE一下
    source /etc/profile

  • 制作启动命令，start-kafka.sh，并放于kafaka_hoem/bin下
    kafka-server-start.sh $KAFKA_HOME/config/server.properties &

  • 安装ZOOKEEPER
    wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
    tar -zxf  zookeeper-3.4.6.tar.gz
    cd zookeeper-3.4.6.tar.gz/conf
    cp zoo_sample.cfg zoo.cfg

  • 改zoo.cfg
    dataDir=$ZOOKEEPER_HOME/data

    #方便查LOG
    dataLogDir=$ZOOKEEPER_HOME/logs

    #控制客户的连接数，默认数为60，太少
    maxClientCnxns=300

    #如果有多个ZOOKEEPER INSTANCE时
    server.1=10.120.151.223:2888:3888
    server.2=10.120.151.224:2888:3888

  • 启动ZOOKEEPER
    zkServer.sh start

  • 更改KAFKA的配置文件server.properties， 主要改几个地方
    #这个是配置PRODUCER/CONSUMER连上来的时候使用的地址
    advertised.host.name=54.72.4.92
    #设置KAFKA LOG路径
    log.dirs=$KAFKA_HOME/logs/kafka-logs
    #设置ZOOKEEPER的连接地址
    zookeeper.connect=54.72.4.92:2181

  • 启动KAFKA
    start-kafka.sh

  • 新建一个TOPIC
    #KAFKA有几个，replication-factor就填几个
    kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181

  • 发送消息至KAFKA
    kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic

  • 另开一个终端，显示消息的消费
    kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

  • 在发送消息的终端输入aaa，则可以在消费消息的终端显示


    • paulwong 2014-05-11 10:30 发表评论
    ]]>    KAFKA资源http://www.blogjava.net/paulwong/archive/2013/09/11/403955.htmlpaulwongpaulwongWed, 11 Sep 2013 07:22:00 GMThttp://www.blogjava.net/paulwong/archive/2013/09/11/403955.htmlhttp://www.blogjava.net/paulwong/comments/403955.htmlhttp://www.blogjava.net/paulwong/archive/2013/09/11/403955.html#Feedback0http://www.blogjava.net/paulwong/comments/commentRss/403955.htmlhttp://www.blogjava.net/paulwong/services/trackbacks/403955.html http://www.michael-noll.com/blog/2013/03/13/running-a-multi-broker-apache-kafka-cluster-on-a-single-node/


     Kafka部署与代码实例
    http://shift-alt-ctrl.iteye.com/blog/1930791 

    Flume-ng+Kafka+storm的学习笔记
    http://blog.csdn.net/zxcvg/article/details/18600335


    Storm应用系列之——集成Kafka(0.8版的KAFKA)
    http://blog.csdn.net/xeseo/article/details/18615761

    paulwong 2013-09-11 15:22 发表评论
    ]]>