apache-kafka - Consumer LAG在Consumer Group中是什么意思
问题描述
我观察到当 Producer 尝试发送消息时,Kafka Consumer 始终无法接收消息。当我检查 kafka 消费者时,看到了 LAG 值:
docker run --net=host --rm <docker image> kafka-consumer-groups --zookeeper localhost:2181 --describe --group mgmt_testing
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG OWNER
mgmt_testing mgmt_testing 0 44 44 0 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 1 35 35 0 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 2 39 39 0 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 3 37 37 0 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 4 25 38 13 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 5 458 666 208 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 6 808167 808181 14 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
mgmt_testing mgmt_testing 7 434028 434041 13 mgmt_testing_aws-us-east-1-mr3-10-10-8-218-1561090200381-21858516-0
LAG 在这里是什么意思?这会是消费者无法接收消息的原因吗?
解决方案
本质上,延迟是这样一个事实,即在将消息发布到 Kafka 代理和使用它之间总会有一些延迟。sematext 的网站上有一个很好的描述:https ://sematext.com/blog/kafka-consumer-lag-offsets-monitoring/
推荐阅读
- javascript - MediaInfoLib JavaScript 与 MVC 5 .NET C#
- azure - 如何更改虚拟机的凭据
- android - DividerItemDecoration 是否可以使用 Layout 而不是 Drawable?
- python - 如何在导出到excel之前命名数据框中的行和列?
- sql-server - 如何从 SQLServer 中的 FOR XML PATH 查询中去除非法字符
- linux - 如果文件路径具有通配符 (*),则无法创建或复制文件
- python-3.x - 在 python jupyter notebook 中将列表转换为数据框
- r - 如何根据 R 中的 p 值从汇总数据中提取 SNP 列表?
- jsch - 使用 ssh 私钥连接会话时出错
- r - 如何选择字符串的特定部分?