apache-kafka - Kafka：获取偏移量超出分区范围。如何避免数据丢失？

Question

Fetcher INFO : Fetch offset .... is out of range for partition ..., resetting offset 

试图了解发生这种情况时会发生什么。如果我们试图读取的偏移量丢失（我假设是因为 kafka GC'ed theoffet），auto.offset.reset = latest我们是否将数据跳过到最新的偏移量？

避免数据丢失的安全配置是什么？

标签： apache-kafkaspring-kafka

Answer 1

对我来说，我通过在我的 KafkaConsumer 配置中添加以下行来修复它

properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");