amazon-web-services - 以 MSK 主题作为事件源的 AWS Lambda 无法读取 Kafka 消息
问题描述
我创建了一个 AWS MSK 集群，并通过在同一 VPC 中运行 EC2 生产者/消费者实例来测试设置。我使用相同的 VPC 和子网创建了一个以 MSK 集群主题作为事件源的 AWS lambda。所有我的子网是私有子网。
集群设置工作正常，因为我已经从 EC2 实例验证了相同的设置。lambda 总是被禁用并出现错误“最后处理结果：问题：连接错误。请检查您的事件源连接配置。
我在下面的 AWS 博客中读到，我们需要在每个区域的公共子网中运行一个 NAT 网关，我们在其中配置了 MSK 集群以确保连接性。这是我需要尝试做的事情吗。我仍然无法理解 EC2 实例如何在同一个 VPC 和子网中运行能够访问 MSK 集群而不是我的 Lambda。有人可以帮忙吗？
https://aws.amazon.com/blogs/compute/using-amazon-msk-as-an-event-source-for-aws-lambda/
另一方面，我有多个 Kafka 主题，我需要从中消费数据并将它们接收到 ElasticSearch 集群。我可以选择在 EC2 中运行 Kafka 连接接收器，我还可以创建一个带有 MSK 主题的 AWS lambda事件源。我知道我可以在 AWS Lambda 中配置多个 MSK 主题。有人可以建议哪种方法更好吗？
解决方案
推荐阅读
- delphi - FireDAC CopyDataSet 和 CopyRecord 内存丢失是否有解决方案？
- javascript - 仅在使用 gulp 将 scss 转换为 css 后，如何缩小和连接不同的 css 文件？
- java - 连接表中的复合 ID
- html - Bootstrap CSS 覆盖了我的自定义 CSS，为什么会这样？
- javascript - 如何使用 Expo React Native 安装 react-native-audio-record
- pdf - 邮件范围不是整个工作表 - 应用程序脚本
- r - 为什么使用相同的数据集和相同的包会得到不同的截距值？(右)
- ios - MTLTriangleFillModeLines 是否忽略退化三角形？
- mongodb - Spring Data MongoDB日期时间范围查询问题
- nginx - Nginx proxy_pass配置问题除了自定义报错