apache-kafka - 任何用于删除/检索主题的 Kafka API 在日期范围之前未收到任何新消息？

Question

我正在开发实用程序来删除某些日子未使用的 kafka 主题。我可以使用 kafka Admin/Consumer Api 删除主题。我的问题是如何识别主题何时收到最后一条消息？

标签： apache-kafka

Answer 1

您可以使用GetOffsetShell工具/类列出主题的开始和结束偏移量。如果它们匹配，则主题为空。您还可以获得特定时间戳的偏移量（我认为对于 Kafka 版本 0.10.2+）

或者您可以通过 SSH 连接到代理并迭代日志目录/转储日志段以查看它们是否为空/按时间过滤它们。

这两种方法都不能保证任何生产者都会主动连接到您尝试删除的主题并尝试发送消息，这会使您的搜索无效