sql - spark [dataframe].write.option("mode","overwrite").saveAsTable("foo") 如果 foo 存在，则失败并显示“已经存在”

Question

我想我在 spark 中看到了一个错误，其中不尊重模式“覆盖”，而是在尝试将 saveAsTable 放入已经存在的表（使用模式“覆盖”）时抛出异常。

下面是一个重现该问题的小脚本。最后一条语句导致堆栈跟踪读取：

 org.apache.spark.sql.AnalysisException: Table `example` already exists.;

非常感谢任何建议。

spark.sql("drop table if exists example ").show()
case class Person(first: String, last: String, age: Integer)
val df = List(
    Person("joe", "x", 9),
    Person("fred", "z", 9)).toDF()
df.write.option("mode","overwrite").saveAsTable("example")

val recover1 = spark.read.table("example")
recover1.show()


val df3 = List(
    Person("mouse", "x", 9),
    Person("golf", "z", 9)).toDF()

 df3.write.
    option("mode","overwrite").saveAsTable("example")      

val recover4 = spark.read.table("example")
recover4.show()     

标签： sqlscalaapache-sparkoverwrite

Answer 1

saveAsTable不勾选额外选项，mode直接使用

df3.write.mode(SaveMode.Overwrite).saveAsTable("example")

或者

df3.write.mode("overwrite").saveAsTable("example")