apache-kafka - Kafka 代理对大量消费者群体的影响

Question

考虑我有一个三节点 kafka 集群，其中有 1000 个主题和单个分区。每个主题将被多个消费者组消费，例如并行 100 个。因此，总共可以有 1000*100 个消费群体同时从 kafka 消费。

我担心这是否会对更大规模的 kafka 集群产生任何性能影响？

此外，我的模型将为每个用户请求启动消费者，并将从队列中获取单个数据，消费者将在请求结束时关闭。对于来自同一用户的下一个请求，消费者将再次为同一组启动并关闭。这将对所有用户重复。

以这样的方式创造和摧毁消费者是否合适？如果没有，是否有任何其他适当的方法来处理这个用例？

标签： apache-kafkakafka-consumer-api