ssis - 我们是否有任何本机连接机制来使用 SSIS 将数据加载到 GCP BigQuery
问题描述
我们是否有任何本地连接机制来使用 SSIS 将数据加载到 GCP BigQuery 。
谢谢。
解决方案
我们有将数据从 SSIS 发布到 BigQuery 的相同要求,我们安排了一个 shell 脚本,该脚本将从 SQL 服务器导出数据并使用 gcloud 实用程序通过批量导入(免费)导入 BigQuery。
加载一张表的示例命令:
sqlcmd -S localhost -d reporting -E -Q "select * from location_dim" -o "localtion_dim.csv" -h-1 -s","
gsutil cp C:\Users\Administrator\localtion_dim.csv gs://ssis/
bq --location=US load --source_format=CSV cube_dev.location_dim gs://event-functions-spike/localtion_dim.csv ID:STRING,OFFICE:STRING,MARKET:STRING,COUNTRY:STRING,REGION:STRING,NAME:STRING
推荐阅读
- vue.js - 在没有 vue CLI 的情况下使用 require,只需 vue
- python - 循环遍历多个 CSV 文件
- git - 无法将文件夹添加到 git repo
- java - 创建 HermiT 实例时出现 NoSuchMethodError
- php - 在订单视图列 WooCommerce 中显示自定义字段值
- java - 没有在 IntelliJ IDEA 中获取 lambda 表达式的断点选项
- tensorflow - TensorFlow 梯度 wrt 在 while_loop 主体内的中间结果
- c - C试图修复无限循环
- javascript - 用javascript读取一个孩子的孩子的内容
- python - Django:如何在模板中调用“包含”函数?