apache-kafka - 使用复制不足的分区修复 kafka 集群
问题描述
我们的一个 kafka 集群有问题。我们有 6 个 v1.0 节点,所有主题的复制因子为 3 和 10 个分区/主题,这对我们来说似乎已经足够了。
由于电源故障,其中 3 个节点停机了一段时间,现在我们有很多主题被报告为具有复制不足的分区。
我们在论坛上看到的唯一解决方案(并且似乎更被接受)是滚动重启,直到一切都神奇地修复,但我希望有更好的解决方案。有没有人从这种情况中恢复过来?网络或 cpu 不应该成为同步的问题,因为它甚至没有接近极限。
非常感谢!
解决方案
让 Kafka 自动处理它可能是您最好的选择,通常使用主题重新分配工具。 https://www.google.no/search?q=kafka+partition+reassignment+tool
您还可以通过使用所有主题并将所有消息写入新主题来强制重新分发,该主题具有相同的设置但名称与当前主题略有不同。
推荐阅读
- java - getChildCount 上始终返回 null (NPE) - 检查所有内容
- c# - MappingException:在具有流畅映射的 N 层应用程序中没有持久性
- c# - 即使值为 null,StringValues 计数也显示 1
- javascript - 在 chrome 扩展嵌入 iframe 中使用 YouTube 数据 api
- android - 使用 xml 内容实现 android 可扩展通知?
- mysql - 无法使用 SQLJocky 服务(未定义的类 'SHA1' 和其他错误)
- python - python中大矩阵的稀疏表示
- java - Java Spring Batch如何从postgres读取然后逐步写入数据
- android - Firebase 个人内容索引有什么用?
- c# - 如何在启动画面中应用 Lottie 动画?