apache-kafka - 通过单个应用程序将 Kafka 流用于不同进程的最佳方式

我想在 kafka 代理之间实现镜像机制，并找到 kafka 流作为一个很好的解决方案。

但是现在我有一个问题悬而未决：我应该对我想要镜像的所有主题使用单个 kafka 流对象，还是最好为每个主题创建单独的实例。

第二种方法有几个优点，所有镜像过程都是松耦合的，如果一个失败，其他的就会工作。此外，每个镜像都可以进行不同的配置，这很好。它不会对所有主题使用单个线程池，加载而不是加载。虽然它有明显的倒退——我应该为每个进程使用专用的 application.id。

那么从 kafka 流概念的角度来看，最好的方法是什么？由于应该镜像的主题数量可能是 100+，每个主题的负载都很高。

编辑：问题不是关于镜像解决方案，而是在同一个应用程序中使用 kafka 流进行不同进程的最佳方式。

标签： apache-kafkakafka-consumer-apiapache-kafka-streams