apache-spark - 使用 delta 格式使用 Apache Spark 创建表被卡住了

Question

我想使用增量位置创建一个表，但我的过程卡住了。

spark.sql("CREATE TABLE bronze_table USING DELTA LOCATION 'dbfs:/mnt/poc-databricks-folder/bronze/delta'")

...运行命令

该过程没有完成，我在 24 小时前运行了它，它仍然处于“运行命令”中。我有一个正在运行的流式作业，它将增量格式存储在没有问题的路径中。

我可以看到火花目录。

我的问题是使用以前的路径创建表的过程卡住了，我想知道原因。我尝试重新启动集群，从文件夹中删除所有内容，删除数据库，删除表，但我遇到了同样的问题。

标签： apache-sparkdatabricksazure-databricksdelta-lake