apache-kafka - 如何安全地更改 Kafka Broker 服务器硬件？

Question

环境噪声

• 卡夫卡 1.0.1

问题

您好，我需要将代理服务器硬件更改为新的。

如何安全地迁移到新的代理服务器，并将数据存储在现有硬件中？
可以将数据复制到新的代理服务器吗？或者有没有相关的迁移工具？

如果有安全迁移到新代理服务器的方法或诀窍，请告诉我。永远感谢。

标签： apache-kafka

Answer 1

它可以是“容易的”或“非常困难的”。

不要将数据从一台机器移动到另一台机器。它不打算那样做。

最好的方案是禁用主题的自动创建。在这种情况下：

• 如果您有能力同时使用新旧硬件一段时间（例如，不超过 1-2 天）：
  • 将新代理添加到集群（使用新 ID）。
  • 列出代理上的所有主题和分区。你会需要那个。
  • 然后，对于每个分区：
    • 将分区从旧硬件移动到新硬件（Kafka 分区分配文档很棒）
    • 开始移动一个或两个副本分区，以确保新硬件运行良好并正确创建 JSON。
    • 分批移动分区，而不是一个一个移动。也不要一步一步移动所有东西。从一小组分区开始，然后移动越来越多的分区。

另外，请记住检查新硬件的性能是否与旧硬件一样好（在这个云时代，这可能不是真的）。