apache-kafka - 运行多个 Kafka 控制台消费者的最佳方式？

Question

我在一个文件（backup.log）上写了Kafka消费的消息。为此，我在我的 CentOS 上创建了一个服务，它运行kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic test --consumer.config consumer.properties >> /backup/backup.log

我有两个 Linux 主机。

每个 Linux 托管一个 Kafka 消费者，每个消费者都属于一个消费者组。所以我有两个消费群体。

这样，如果一个消费者宕机，另一个消费者拥有所有消息，因为他属于另一个消费者组。

目前，我只有一个主题有四个分区。

问题：我必须消费多个主题。我读到建议添加消费者（并行化），而不是仅使用一个消费者来处理太多主题/分区。

-> 实现这一目标的最佳方法是什么？复制运行的服务kafka-console-consumer.sh？还是另一种方式？

标签： apache-kafka