apache-kafka - Kafka-streams 破坏了消息处理语义

Question

我注意到 Kafka 记录有一个 CRC 字段。如果日志文件中的记录损坏（例如，消息中间的一个位被翻转），在以下情况下我希望在流应用程序中看到什么：

• 话题被复制
• 题目不复制

由于我们使用的是 Avro，我可以想象会发生以下情况之一：

• 底层基础设施检测 CRC 错误并从另一个代理获取它
• DeserializationExceptionHandler 启动
• 根据策略，发生其他一些错误并且拓扑崩溃或消息被跳过

标签： apache-kafkaapache-kafka-streamscorruption

Answer 1

对于 CRC 错误，当您的 Streams 应用程序尝试反序列化记录时，应该会引发异常。因此，DeserializationExceptionHandler开始了。

在 Kafka 中，所有读/写都由分区领导者处理，追随者代理仅在后台被动复制数据，不提供来自客户端的任何读/写。