apache-spark - kafka-consumer-groups 命令不显示火花结构化流应用程序（消费者）的 LAG 和 CURRENT-OFFSET

Question

我有一个从 kafka 消费的 spark 结构化流应用程序，对于这个应用程序，我想监控消费者滞后。我正在使用以下命令来检查消费者滞后。但是我没有得到 CURRENT-OFFSET ，因此 LAG 也是空白的。这是预期的吗？它适用于其他基于 python 的消费者。

命令

kafka-consumer-groups --bootstrap-server <bootstrap-server>:<port> --describe --all-groups

输出

GROUP                                                                TOPIC         PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG              CONSUMER-ID                                     HOST            CLIENT-ID
spark-kafka-source-b5e8d872-f727-4ed0-a82c-a3d279647942-407459747-driver-0 my_topic 21         -               5546            -               consumer-3-bc651181-fc62-4b1a-abdf-fb3e9d244df8 /<ip-address>    consumer-3
spark-kafka-source-b5e8d872-f727-4ed0-a82c-a3d279647942-407459747-driver-0 my_topic 7          -               5129            -               consumer-3-bc651181-fc62-4b1a-abdf-fb3e9d244df8 /<ip-address>    consumer-3
spark-kafka-source-b5e8d872-f727-4ed0-a82c-a3d279647942-407459747-driver-0 my_topic 3          -               5178            -               consumer-3-bc651181-fc62-4b1a-abdf-fb3e9d244df8 /<ip-address>    consumer-3
spark-kafka-source-b5e8d872-f727-4ed0-a82c-a3d279647942-407459747-driver-0 my_topic 9          -               4969            -               consumer-3-bc651181-fc62-4b1a-abdf-fb3e9d244df8 /<ip-address>    consumer-3
spark-kafka-source-b5e8d872-f727-4ed0-a82c-a3d279647942-407459747-driver-0 my_topic 2          -               5443            -               consumer-3-bc651181-fc62-4b1a-abdf-fb3e9d244df8 /<ip-address>    consumer-3
spark-kafka-source-b5e8d872-f727-4ed0-a82c-a3d279647942-407459747-driver-0 my_topic 15         -               5312            -               consumer-3-bc651181-fc62-4b1a-abdf-fb3e9d244df8 /<ip-address>    consumer-3

标签： apache-sparkapache-kafkakafka-consumer-apispark-structured-streamingspark-kafka-integration

Answer 1

“但是我没有得到 CURRENT-OFFSET，因此 LAG 也是空白的。这是预期的吗？”

是的，这是预期的行为，因为 Spark 结构化流应用程序没有将任何偏移量提交回 Kafka。因此，此消费者组的当前偏移量和滞后不会存储在 Kafka 中，您将准确看到消费者组工具的结果。

我已经在 Consumer Group 以及 Spark Structured Streaming 应用程序如何管理 Kafka 偏移量上写了一个更全面的答案。