张钊钊 2018-11-30 18:26 发表评论

         <dependency>

            <groupId>org.apache.kafka</groupId>

            <artifactId>kafka_2.12</artifactId>

            <version>1.0.0</version>

        </dependency>

        <dependency>

            <groupId>org.apache.kafka</groupId>

            <artifactId>kafka-clients</artifactId>

            <version>2.1.0</version>

        </dependency>

程序就集成：


 问题就在这里  KafkaConsumer 是让spring IOC来管理，刚刚开始只有@Bean 生成的对象实例就只有一个，但是在启动线程消息的时候只能一个对象一个线程，如果一个对象在启用线程去消费会报  KafkaConsumer is not safe for multi-threaded access

解决办法：
1.线程与KafkaConsumer对象实例的对应关系是1：1
2.要保证线程与KafkaConsumer对象的关系是固定不变的，也就是说，一个线程始终都只能操作同一个KafkaConsumer对象且一个KafkaConsumer对象始终是由同一个线程来操作的 所以在 @Bean 又加了  @Scope(value = ConfigurableBeanFactory.SCOPE_PROTOTYPE, proxyMode = ScopedProxyMode.TARGET_CLASS) 来每一次用生成一个新实例对象 

2：问题 线程与KafkaConsumer对象实例的对应关系是1：1  ，但订阅的对对象 和线程使用poll  KafkaConsumer 对象又会发生变化导致监听消费报错
    Consumer is not subscribed to any topics or assigned any partitions，为什么会报没有定阅呢，明明已经定阅了
 
   解决办法不要让spring IOC 来管理KafkaConsumer 生成实例对象  使用new 方式生成。

看来了解下原理是很重要的以下是比较不错的文章(里边还有多线程消费源码和原理讲解)

张钊钊 2018-11-30 16:05 发表评论