时间戳

首页 > 解决方案 > 如何使用 Spark SQL 将数据写入 BigQuery？

apache-spark-sql - 如何使用 Spark SQL 将数据写入 BigQuery？

问题描述

我们正在使用 Google Dataproc 集群和spark-sql外壳。并能够创建如下表：

CREATE TABLE table_bq
USING bigquery
OPTIONS (
  project 'project',
  dataset 'dataset',
  table 'bq_table'
  );

这会连接到 BigQuery 以用于所有查询目的，但是，当我们尝试这样做时

INSERT OVERWRITE TABLE table_bq SELECT ....;

它失败并出现错误：

) 不允许插入。;;

关于我们如何从 spark-sql 将数据加载到 BigQuery 的任何指示？注意：我已经看到了使用带有数据框的 spark 将数据写入 BigQuery 的示例，但是我的问题与 spark-sql 有关系吗？

标签： apache-spark-sqlgoogle-bigquerygoogle-cloud-dataproc

解决方案

推荐阅读