时间戳

首页 > 解决方案 > 如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？

google-bigquery - 如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？

问题描述

如何以流模式将数据从 AWS RDS 加载到 Google BigQuery？描述：我在 RDS (SQL Server) 中有数据，并希望将这些数据实时加载到 Google BigQuery 中。

标签： google-bigquerystreamingaws-rds-data-service

解决方案

无法直接将更改从 Amazon RDS 插入到 Google Cloud BigQuery。可以用这样的管道来完成

Amazon RDS ----Lambda/DMS----> Kinesis Data Streams -----Lambda----> BigQuery

  1. 使用Lambda或使用Cloud DMS读取从 Amazon RDS 到 Kinesis Data Streams 的更改。您还可以将其推送到 Kinesis Firehose 以聚合/批处理记录。
  2. 使用 Lambda 从 Kinesis 流/Firehose 中读取数据，以使用tabledata.insertAll（BQ 流 API）插入 BigQuery 。代码将与此类似。

推荐阅读