时间戳

首页 > 解决方案 > 尝试在 ADLS Gen2 上创建增量表时出现 Databricks 错误

azure-databricks - 尝试在 ADLS Gen2 上创建增量表时出现 Databricks 错误

问题描述

我正在使用 Azure Databricks 在 Azure Data Lake Storage Gen2 上创建一个增量表并遇到错误。

代码：

dataframe.write.format("delta").mode("overwrite").option("path","abfss://<ContainerName>@<StorageAccount>.dfs.core.windows.net").saveAsTable("test_table")

错误：

IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: abfss://<ContainerName>@<StorageAccount>.dfs.core.windows.net_delta_log

标签： azure-databricksazure-data-lake-gen2

解决方案

您需要设置 Data Lake 内特定目录的路径，而不是容器顶部。就像是：

ContainerName = "container"
StorageAccount = "account"
table_path = f"abfss://{ContainerName}@{StorageAccount}.dfs.core.windows.net/test-table"
dataframe.write.format("delta").mode("overwrite")\
  .option("path", table_path).saveAsTable("test_table")

推荐阅读