关于kafka的新的group无法订阅到topic中历史消息的问题
2024-04-27 01:30:46
今天在写kafka的java api例子时候，遇到一个问题，比如我创建了一个test主题，往里面写了1,2,3,4,5条消息，在这个时候，我用一个新的group启动了一个消费者，发现该消费者只能读到5以后的消息，而1到5的消息是读不到的，于是感到疑惑，就去官网上找了一下，看到这这样一个配置项“auto.offset.reset”，该配置项的描述如下：
What to do when there is no initial offset in Kafka or if the current offset does not exist any more on the server (e.g. because that data has been deleted):
- earliest: automatically reset the offset to the earliest offset
- latest: automatically reset the offset to the latest offset
- none: throw exception to the consumer if no previous offset is found for the consumer's group
- anything else: throw exception to the consumer.
大概意思是，当无法获取当前offset的时候该怎么处理，这个配置项的默认值是“latest”，而当我们新建一个group对主题订阅的时候，第一次应该是符合这个要求的（无法知道当前的offset值），这个时候就触发了“latest”这个配置值对应的操作，也就是说把当前topic里面最新的偏移作为offset，那显然，该消费者是读不到主题中的历史信息的，于是把配置的值改为“earliest”，发现正常了，
需要注意的是，这个配置只在group第一次订阅主题的时候触发，一旦这个offset值被确定下来了，你再把这个配置改成“earliest”就没效果了，因为他已经不符合这个条件了（这个group在这个主题下已经能拿到offset值了）
最新文章
- ASP.NET使用HttpModule压缩并删除空白Html请求
- 5 HTML&JS等前端知识系列之jquery基础
- PHP模板引擎正则替换函数 preg_replace 与 preg_replace_callback 使用总结
- iOS开发——基于corelocation位置定位——工具类
- Mysql优化--Show Profile
- 【Android 应用开发】Android 开发错误集锦
- 如何录制Chrome或者Linux下的应用
- web.config中的ExtensionlessUrlHandler-Integrated-4.0
- 微信小程序记账本进度一
- git log 查看提交记录，参数：
- golang interface判断为空nil
- 安装Eclipse Maven插件的几种方法
- Git 命令简单罗列
- kettle中使用JavaScript的一个例子
- 集成利用tesseract.exe进行ocr
- php自定义session存储路径
- 有序的数据结构中：内存操作红黑树快，磁盘操作b+树快
- locust 性能测试学习 第一天
- Hazelcast 内存数据网格
- EditPlus保存时不生成bak文件（转）