时间戳

首页 > 解决方案 > 如何将来自 Azure 事件中心（kafka 接口）的事件集成到谷歌云发布/订阅

azure - 如何将来自 Azure 事件中心（kafka 接口）的事件集成到谷歌云发布/订阅

问题描述

我有一个要求，我需要在 Azure 事件中心上使用一个 kafka 主题。需要创建 POST 端点，它将使用作为参数提供的主题。消息必须在 pubsub 主题上发送，其中 kafka 主题作为属性，消息内容作为正文。

这是一个高水平的要求。我在这里查看以了解如何实现这一点。但是，如果有人实时实现了这一点，即从 Azure 事件中心到谷歌云 pub sub 的事件，或者从事过类似的实现，请提供帮助。

标签： azureapache-kafkagoogle-cloud-pubsub

解决方案

正如评论部分所讨论的，为了进一步为社区做出贡献，我发布了我们讨论的摘要作为答案。

由于数据的目标是 BigQuery，因此您可以在 Dataflow 中使用Kafka 到 BigQuery 模板，您可以使用此模板将 json 消息从 Kafka 加载到 BigQuery。此外，根据文档，

如何使用此 Dataflow 模板 Kafka 到 BigQuery 此模板创建一个流式传输管道，该管道从 Kafka 提取 JSON 数据，执行可选的 JavaScript 用户定义函数 (UDF)，并将结果记录写入 BigQuery。数据转换、UDF 执行或写入 BigQuery 期间的任何错误都将写入 BigQuery 中的单独错误表。如果错误表不存在，将创建它。

管道要求

  • Kafka 主题存在并且消息被编码为有效的 JSON。

  • BigQuery 输出表存在。

  • 可以从 Dataflow 工作机器访问 Kafka 代理。

另一方面，您可以使用KafkaIO方法根据您的特定要求创建自己的模板，您可以查看本教程以更好地了解如何开始。

推荐阅读