首页 > 解决方案 > Kafka Connect 配置和偏移主题可以共享吗

问题描述

两个 Apacke Kafka Connect 元数据主题config.storage.topicoffset.storage.topic是否可以在两个或多个单独的 Kafka Connect 集群之间安全共享?

虽然文档为每个说明:

对于所有具有相同group.id.

从文档中不清楚这些主题是否需要由单个 Kafka Connect 集群拥有。

从广义上讲,我可以看到我的 connectgroup.id 可以用作主题中项目的前缀,但尚不清楚是否可以,也不清楚是否可以安全地将 Connect 集群从彼此的元数据中分离出来。

标签: apache-kafka

解决方案


每个集群都需要自己的专用主题。

如果您有多个 Kafka Connect 集群尝试使用相同的 config/offset/status 主题(即使使用不同group.id的设置),您将从 Kafka Connect 获得大量错误和/或意外行为。


推荐阅读