时间戳

首页 > 解决方案 > 在使用 python 的数据块中，dbutils.fs.mount 给出 java.lang.NullPointerException: authEndpoint 试图使用 abfss 挂载。wasbs 工作正常

python - 在使用 python 的数据块中，dbutils.fs.mount 给出 java.lang.NullPointerException: authEndpoint 试图使用 abfss 挂载。wasbs 工作正常

问题描述

在 databricks 中使用 db.fs.mount 连接到 azure gen2 数据湖时，尝试连接到“abfss://theDir@theDataLake.blob.core.windows.net/”时收到 authEndpoint 错误，但是，连接到“wasbs” ://theDir@theDataLake.blob.core.windows.net/" 工作正常。我试图理解为什么 abfss 会导致 authEndpoint 错误，而 wasbs 不会。

enter code here
#fails
endpoint = "abfss://theDir@theDataLake.blob.core.windows.net/";
dbutils.fs.mount(
   source = endpoint,
   mount_point = "/mnt/test",
   extra_configs = {"fs.azure.account.key.theDataLake.blob.core.windows.net" : "xxxxxx"})

#works
endpoint = "wasbs://theDir@theDataLake.blob.core.windows.net/";
dbutils.fs.mount(
   source = endpoint,
   mount_point = "/mnt/test",
   extra_configs = {"fs.azure.account.key.theDataLake.blob.core.windows.net" : "xxxxxx"})

标签： pythondatabricksazure-databricksazure-data-lake-gen2

解决方案

您无法使用存储密钥安装 ABFSS 协议。您只能在使用服务主体 ( docs ) 时使用 ABFSS 进行挂载，并且它需要另一组参数extra_configs：

{"fs.azure.account.auth.type": "OAuth",
"fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
"fs.azure.account.oauth2.client.id": "<application-id>",
"fs.azure.account.oauth2.client.secret": dbutils.secrets.get(scope="<scope-name>",key="<service-credential-key-name>"),
"fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/<directory-id>/oauth2/token"}

推荐阅读