首页 > 解决方案 > 使用复制不足的分区修复 kafka 集群

问题描述

我们的一个 kafka 集群有问题。我们有 6 个 v1.0 节点,所有主题的复制因子为 3 和 10 个分区/主题,这对我们来说似乎已经足够了。

由于电源故障,其中 3 个节点停机了一段时间,现在我们有很多主题被报告为具有复制不足的分区。

我们在论坛上看到的唯一解决方案(并且似乎更被接受)是滚动重启,直到一切都神奇地修复,但我希望有更好的解决方案。有没有人从这种情况中恢复过来?网络或 cpu 不应该成为同步的问题,因为它甚至没有接近极限。

非常感谢!

标签: apache-kafkakafka-topic

解决方案


让 Kafka 自动处理它可能是您最好的选择,通常使用主题重新分配工具。 https://www.google.no/search?q=kafka+partition+reassignment+tool

您还可以通过使用所有主题并将所有消息写入新主题来强制重新分发,该主题具有相同的设置但名称与当前主题略有不同。


推荐阅读