amazon-s3 - 我可以在单个 Kafka-Connector S3 接收器连接器中映射具有多个主题的多个存储桶吗？

Question

谷歌没有帮助我，所以我想问你。我有很多 kafka 主题，我想将特定主题的消息存储在特定的 S3 存储桶中。

我是否需要为每个存储桶创建一个 S3 接收器连接器，或者我可以在单个 S3 json 文件中配置所有内容（使用主题映射存储桶）？

谢谢你的帮助！:)

标签： amazon-s3apache-kafka-connect

Answer 1

S3 存储桶名称是针对每个连接器指定的，因此您需要为每个存储桶创建一个连接器。

请注意，您可以为每个连接器 ( topics/ topics.regex) 指定多个主题，因此如果您希望多个主题进入一个存储桶（但路径不同），您可以使用单个连接器来执行此操作。但是对于多个存储桶，您将需要多个连接器。