apache-kafka - 为了支持 18 台 kafka 机器，我们需要多少个 zookeper 服务器

6 台 kafka 机器（它们是物理机器 - DELL HW）

3 动物园管理员服务器

我们想在集群中添加 12 台 kafka 机器

在那种情况下，应该有多少个 Zookeeper 服务器？

为了支持 18 台 kafka 机器？

标签： apache-kafkaapache-zookeeper

好吧，您的问题被标记为 Hadoop，但仅对于 Kafka，3 会“工作”，但 5-7 会“更好”。

但是，这些应该是Kafka专用的 Zookeeper 服务器，而不是与 namenode、Hive、HBase 等 Hadoop 服务共享。尤其是在 30+ Hadoop 服务器的级别上。这是因为 Zookeeper 的延迟非常具体，并且需要大量内存来处理这些类型的进程。

这可以在具有特定服务器配置的 Ambari 中轻松完成，但不要让 Ambari 使用其模板来填充它跟踪的单个 Zookeeper 仲裁（在每个服务中都很难找到，因为配置完全不使用 Ambari 真的很值得，以及 Puppet 或 Ansible 等，但我离题了）

请记住，您的集群将有 1/3 完全不平衡，并且添加代理不会移动现有数据或导致副本被分配给现有主题的新代理