google-cloud-firestore - 以编程方式将 Firestore 备份导入 BigQuery

Question

我在 GCS 中有一个名为：all_namespaces_kind_Rates.export_metadata 的 Firestore 备份文件。我已经设置了一个 cron 作业来每 24 小时更新一次这个文件。我现在需要的是找到一种以编程方式将此 export_metadata 文件发送到 BigQuery 的方法。BigQuery 能够从 GCS 安排数据传输，但仅适用于以下格式的文件：CSV、JSON、AVRO、PARQUET 和 ORC。如何以编程方式将我的 Firestore 备份文件传输到 BigQuery？

标签： google-cloud-firestoregoogle-bigquerycloud

Answer 1

如果您的 cron 作业可以访问 bq 命令行工具，您是否尝试过：

bq load --source_format=DATASTORE_BACKUP [DATASET].[TABLE] [PATH_TO_SOURCE]

查看有关该命令的更多信息： https ://cloud.google.com/bigquery/docs/loading-data-cloud-firestore#loading_cloud_firestore_export_service_data