google-cloud-dataflow - Google Cloud Pub/Sub 从 API 端点提取数据并作为消息发布

Question

我一直在尝试在 Google Cloud Data Fusion 中构建一个管道，其中数据源是第 3 方 API 端点。我一直无法成功使用 HTTP 插件，但有人建议我使用 Pub/Sub 进行数据摄取。

我一直试图以本教程为起点，但它并不能帮助我完成该过程的第一步：从 API 端点摄取数据。

谁能提供使用 Pub/Sub（或任何其他可行方法）从 API 端点提取数据并将该数据发送到 Data Fusion 进行转换并最终发送到 BigQuery 的示例？

我还需要能够在此管道中的 GET 请求中动态修改 URI（例如，日期过滤器参数）。

标签： google-cloud-dataflowpipelinegoogle-cloud-pubsubgoogle-cloud-data-fusion

Answer 1

为了实现教程中的第一步，您正在遵循

使用 Cloud Data Fusion 将 CSV（逗号分隔值）数据提取到 BigQuery。

您需要设置一个正常运行的发布/订阅系统。这可以通过命令行、控制台或在您的情况下最好使用客户端库之一来完成。如果您遵循本教程，您应该拥有一个正常运行的 pub/sub 系统。

那时您应该能够按照原始教程进行操作