azure - 我正在尝试直接连接到 abfss(不安装到 DBFS)并尝试在 databricks 中使用 open() 打开 json 文件
问题描述
我正在尝试直接连接到 abfss(不安装到 DBFS)并尝试使用 databricks 中的 open() 方法打开 json 文件。
json_file = open("abfss://@.dfs.core.windows.net/test.json') databricks 无法打开 azure blob 容器中存在的文件并出现以下错误:FileNotFoundError: [Errno 2] No such file 或目录:'abfss://@.dfs.core.windows.net/test.json'
我已经使用服务主体完成了所有配置设置。请建议使用 abfss 直接路径打开文件的其他方式。
解决方案
该方法仅适用于本地文件 - 它对其他云存储open
一无所知。abfss
您有以下选择:
- 用于
dbutils.fs.cp
将文件从 ADLS 复制到驱动节点的本地磁盘,然后使用它,例如:dbutils.fs.cp("abfss:/....", "file:/tmp/my-copy")
- 使用Azure SDK将文件从 ADLS 复制到驱动程序节点
第一种方法比第二种方法更容易使用
推荐阅读
- mysql - 基于登录用户的MySQL变量数据库表
- vue.js - AWS Amplify + Vuejs - 联合登录
- mysql - 如何在 SQL 中创建日期占位符?
- lmdb - 在 LMDB 中,事务是读取它刚刚写入的值还是旧值?
- c++ - C ++“使用”关键字用于唯一类型而不是别名
- c++ - 可变参数模板错误:“在实例化中”(gcc 9.2)
- c++ - 是否可以避免每次都链接 gsl 和 openmp?
- python - TKinter Matplotlib 图不显示
- tensorflow - ANN - 低性能
- reactjs - 第一次提交表单后如何将formik中的validateOnChange和validateOnBlur更改为true?