时间戳

首页 > 解决方案 > 什么情况下 endOffset > lastMsg.offset + 1？

apache-kafka - 什么情况下 endOffset > lastMsg.offset + 1？

问题描述

Kafka 为一个分区返回 endOffset 15，但可以从中消费的最后一条消息的偏移量为 13，而不是我所期望的 14。我想知道为什么。

卡夫卡文档阅读

在默认的 read_uncommitted 隔离级别下，结束偏移量是高水位线（即上一次成功复制消息的偏移量加一）。对于 read_committed 消费者，结束偏移量是最后一个稳定偏移量（LSO），它是高水位线的最小值，也是任何打开事务的最小偏移量。

这是kafkacat的输出。我正在使用 kafkacat，因为它可以打印消息偏移量：

$ kafkacat -Ce -p0 -tTK -f'offset: %o key: %k\n'
offset: 0 key: 0108
offset: 1 key: 0253
offset: 4 key: 0278
offset: 5 key: 0198
offset: 8 key: 0278
offset: 9 key: 0210
offset: 10 key: 0253
offset: 11 key: 1058
offset: 12 key: 0141
offset: 13 key: 1141
% Reached end of topic TK [0] at offset 15: exiting

令人困惑的是——而且很可能是相关的——偏移量不是连续的，尽管我没有设置压缩等。

更多细节：

$ kafka-topics.sh --bootstrap-server localhost:9092 --topic TK --describe
Topic: TK       PartitionCount: 2       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: TK       Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: TK       Partition: 1    Leader: 0       Replicas: 0     Isr: 0

通过 kafka-console-consumer.sh 打印密钥：

$ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic TK \
  --offset earliest --partition 0 --timeout-ms 5000 \
  --property print.key=true --property print.value=false
0108
0253
0278
0198
0278
0210
0253
1058
0141
1141
[2021-09-15 10:54:06,556] ERROR Error processing message, terminating consumer process:  (kafka.tools.ConsoleConsumer$)
org.apache.kafka.common.errors.TimeoutException
Processed a total of 10 messages

注意：这个话题是在没有涉及交易的情况下产生的，并且 *）消费是在read_uncommitted模式下完成的。

*) 实际上， processing.guarantee 设置为exactly_once_beta，因此相当于使用事务。

更多信息 事实证明，我可以使用我的 Streams 应用程序可靠地重现此案例（1. 擦除 kafka/zookeeper 数据，2. 重新创建主题，3. 运行应用程序），其输出是显示此问题的主题。同时，我将 Streams 应用程序缩减为这种无操作拓扑，并且仍然可以重现它：

Topologies:
   Sub-topology: 0
    Source: KSTREAM-SOURCE-0000000000 (topics: [TK1])
      --> KSTREAM-SINK-0000000001
    Sink: KSTREAM-SINK-0000000001 (topic: TK)
      <-- KSTREAM-SOURCE-0000000000

新闻 与此同时，我已将本地运行的 Kafka 代理 (2.5.0) 替换为在 Docker 容器中运行的代理 (wurstmeister/kafka:2.13-2.6.0)。问题仍然存在。

该应用程序使用版本为 6.0.1-ccs 的 kafka 库，对应于 2.6.0。

标签： apache-kafkakafka-consumer-api

解决方案

当我删除设置processing.guarantee: exactly_once_beta时，问题就消失了。就这个问题而言，不管我用exactly_once_beta还是exactly_once.

我仍然想知道为什么exact_once(_beta) 会发生这种情况 - 毕竟，在我的测试中，顺利航行并且没有事务回滚等。

在我最近的测试中，这条规则似乎适用于其中至少包含一项的所有分区：

endOffset == lastMsg.offset + 3

这比预期的多 2 个。

问题中提到的 Kafka 文档说

对于 read_committed 消费者，结束偏移量是最后一个稳定偏移量（LSO），它是高水位线的最小值，也是任何打开事务的最小偏移量。

那么Kafka是否可能为每个分区的2个（???）事务预先分配偏移量？

推荐阅读