java - 无法同时创建 Kafka 消费者组

Question

我的舞台环境中有一个 3 节点 Kafka 集群设置。我正在使用相同的 Kafka 设置在我的 spring 应用程序实例启动时创建消费者组。这样做时，由于我有一个应用程序实例的集群设置，我实际上是在尝试同时启动 8-10 个消费者组（每个消费者组有 10 个消费者）。

虽然尝试做上述相同的事情，但我在这里发现的问题是并非所有的消费者组都是在 Kafka 中创建的。总是至少有 1 或 2 个，或者可能比缺少的消费者群体更多。

调试后，能够​​在 Kafka 内部日志中识别出我收到的调试日志显示“<strong>Consumer Coordinator lookup Failed ...”和“<strong>Coordinator discovery failed,正在刷新元数据...”。并且这些日志语句只会出现在那些未能启动的消费者组中。

我想请大家向我提供一些建议，说明可以尝试哪些进一步的方法来启动和运行此配置。

此外，如果任何人都可以提供有关同时创建 Kafka 消费者组的任何输入以及在某个时间点可能达到的程度，那将非常感激。我可以同时为多少个消费者组请求创建 Kafka？

提前致谢！

标签： javaapache-kafkaapache-zookeeper