azure-data-lake - 从数据块连接到 DataLake（ADLS Gen2）存储时出错

Question

我正在尝试从 databricks python 连接到 dataLake Gen2 存储，不幸的是我遇到了错误。

代码：

dbutils.fs.ls("abfss://<fsystem name>@<storage name>.dfs.core.windows.net/<folder name>")

错误信息：

未找到配置属性 .dfs.core.windows.net。

我怀疑这是否与我的安装代码有关？此外，我还使用存储资源管理器将租户 ID 添加到容器“管理访问”中。

这是我的安装代码：

configs = {"fs.azure.account.auth.type": "OAuth",
       "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
       "fs.azure.account.oauth2.client.id": "<client ID>",
       "fs.azure.account.oauth2.client.secret":  "secret",
       "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/directory id/oauth2/token"}
dbutils.fs.mount(  source = "abfss://filesystem name@<storage name>.dfs.core.windows.net/",  mount_point = /mnt/soldel",  extra_configs = configs)

挂载代码运行良好，没有错误。请建议

标签： azure-data-lakeazure-databricks

Answer 1

注意：如果不使用 Databricks 配置存储帐户，则无法访问 Azure Data Lake Gen2 帐户。

这是预期的错误消息，因为您尚未使用 databricks 配置存储帐户来列出文件系统。

请查看错误消息并查看 Databricks 中列出文件系统的正确过程。

有关详细信息，请参阅“ Databricks - Azure Data Lake Storage Gen2 ”。

希望这可以帮助。