amazon-web-services - 有没有一种无服务器方式可以将 MSK Kafka 主题内容消费到 S3 存储桶中？

Question

是否有一种无服务器方式可以将 Kafka 主题内容消费到 S3 存储桶中？（有或没有运动）

我有 ：

1. AWS MSK kafka - 它从多个主题源获取数据
2. S3 存储桶。

我想获取 MSK Kafka 主题生成的数据，并将其保存到 S3（用于存档）。一种方法是使用 kinesis firehose。我使用 MSK kafka kinesis 连接器成功应用了这个工作流程。（https://aws.amazon.com/premiumsupport/knowledge-center/kinesis-kafka-connector-msk/）

问题是，我不喜欢这个解决方案，因为它不是无服务器的。我必须使用 EC2 在其上运行连接器和 kafka 客户端。

我觉得奇怪的是我有 2 个 AWS 服务（意味着无服务器），但是为了让它们相互交流，我需要有一个服务器在它的进程上运行（kafka kinesis 连接器 + kafka 客户端）。

例如，我想到了一个 filebeat（它将在 ECS fargate 上运行）从 MSK 获取数据并将其放入 S3，但我担心这个解决方案会出现性能问题。

提前感谢您的回答

标签： amazon-web-servicesamazon-s3apache-kafka