apache-kafka - Confluent 5.0.0 kafka connect hdfs sink:升级后无法描述kafka connect consumer group lag
问题描述
我们从 Confluent 4.0.0 升级到 5.0.0,升级后我们无法列出 kafka connect hdfs sink connector consumer lag。
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --group connect-kconn_scribe_log_backend --describe
Note: This will not show information about old Zookeeper-based consumers.
$
是否对 kafka 2.0/confluent 5.0.0 中的消费者组命令进行了任何修改?我如何根据这个滞后跟踪我们需要提醒的滞后?我们的经纪人在 kafka 版本 1.1.0 上运行。升级后也看不到kafka manager中的connect consumer group。kafka connect 没有问题,因为连接器能够写入 hdfs。谢谢。
解决方案
Kafka Connect HDFS 连接器不再提交偏移量,因此没有任何基于延迟计算的基础。
PS。恢复是基于文件命名约定是HDFS,文件名有分区和偏移信息。
推荐阅读
- azure - 用户看不到我的构建选项卡。权限在哪里?
- laravel-blade - Ebay 商品描述破坏了我的页面结构
- r - 使用 Rvest 抓取包含多个表的 URL
- java - 种DB的方法有哪些
- java - sql查询中的排序
- c# - 如何一起设置4个文本框的工具提示?
- android - readyState":0,"status":0,"statusText":"error" while Call api through AjaxCall Realsed Apk android
- eclipse - Eclipse 更改焦点文本颜色
- android - RecyclerAdapter - 无法为父母和孩子设置长且正常的点击侦听器
- python - df.drop_duplicates 删除了太多条目