sparklyr - 有没有办法在 Spark 本地模式下保存表并在重新连接后检索？

Question

我正在使用带有本地火花（2.3.0）的sparklyr。我可以保存一个spark_write_table表格

library(sparklyr)
sc <- spark_connect(master = "local", version = "2.3.0")
sdf_copy_to(sc, iris, "iris")
spark_write_table(tbl(sc, "iris"), "iris2")

有两个表“iris”和“iris2”：

 dbGetQuery(sc,"SHOW TABLES")

 database tableName isTemporary   
1 default     iris2       FALSE  
2              iris        TRUE

第一个似乎不是暂时的。

但是，如果我断开会话并使用重新连接

spark_disconnect(sc)
sc <- spark_connect(master = "local", version = "2.3.0")

尽管该表存在于 spark 仓库目录中，但我再也找不到“iris2”表。

这是预期的行为（本地模式下的 Spark 无法存储永久表）还是在使用相同的仓库目录时能够保存和检索表的技巧？

标签： sparklyr