apache-spark - 从 Dataproc 写入 BigQuery 表时出错 - Spark

Question

我正在尝试将数据从 Dataproc - Spark 插入到 Big Query 表中。我正在使用以下代码：

df.write \
  .format("bigquery") \
  .option("temporaryGcsBucket","bucket/temp") \
  .save("project.datasource.table1")

错误：

pyspark.sql.utils.IllegalArgumentException: 'SaveMode 设置为 ErrorIfExists 并且表 project.datasource.table1 已经存在。您是否想通过将 SaveMode 设置为 Append 来将数据添加到表中？示例：df.write.format.options.mode(SaveMode.Append).save()'

我插入了“.mode(SaveMode.Append)”，但它没有用。

标签： apache-sparkgoogle-cloud-platformpysparkgoogle-bigquerydataproc

Answer 1

那会做：

df.write \
  .format("bigquery") \
  .option("temporaryGcsBucket","bucket/temp") \
  .mode("append") \
  .save("gcp-bankier.sof.table1")