apache-kafka - 卡夫卡经纪人没有出现

Question

我在 3 个代理集群上使用 kafka 版本 0.11.0.2，并将一个新磁盘附加到所有代理。不知何故，在经纪人 2 上，我在重新启动后开始收到以下错误（用 XXXXX 替换了实际路径）

Found a corrupted index file due to requirement failed: Corrupt index found, index file (/XXXXX/XXXXX/00000000000000000000.index) has non-zero size but the last offset is 0 which is no larger than the base offset 0.}. deleting /XXXXX/XXXXX/00000000000000000000.timeindex, /XXXXX/XXXXX/00000000000000000000.index, and /XXXXX/XXXXX/00000000000000000000.txnindex and rebuilding index... (kafka.log.Log)

我搜索并发现它是由于不干净的关机而发生的，解决方法是删除 10MB 的索引文件，然后我使用以下命令进行了清理

find /XXXXX -size 10485760c -name *.index -delete

因为在这次运行之后，我开始出现以下错误，并且经纪人仍然被突然杀死。

ERROR Could not find offset index file corresponding to log file /XXXXX/XXXXX/00000000000000000000.log, rebuilding index... (kafka.log.Log)

如何解决这个问题？

标签： apache-kafka