apache-kafka - 批量创建Kafka Connector

Question

我正在尝试创建 1000 个连接器，每个连接器都有一个任务，他自己的消费者组和我的 Kafka Kubernetes 集群中的唯一主题（创建连接器后我的最终目标是向连接器的主题发送大量请求并测量性能对于我们实施的连接器接收器）。

每次创建都会触发整个集群的重新平衡，从而“阻止”连接器 RestAPI（对所有内容返回 409）并关闭任务。

因此我有三个问题：

1. 重新平衡是连接器的一种停机时间（正如我所说，重新平衡时有任务关闭和重新启动，连接器有一个任务）？
2. 我可以配置再平衡计划吗？
3. 有没有办法批量创建连接器，这样它会很快（比如在不到一秒的时间内创建 100 个连接器）并且不会导致停机（如果第一个问题的答案是肯定的）？

标签： apache-kafkakafka-consumer-apiapache-kafka-connect

Answer 1

解决该问题的一种方法是启动 1000 个连接集群（例如，通过 Docker 编排），全部使用一个或几个连接器。

---

没有办法绕过再平衡。您将消费者添加到同一个消费者组中，因此总是会重新平衡。

我建议将多个主题/任务组合在一起而不是共享相似的配置，而不是每个连接器运行一个任务，这样您就可以限制重新平衡的工作量。