python - ADLS Gen 1 文件下载问题
问题描述
我正在使用一个简单的python文件编写一个程序来在databricks文件系统目录中写入和保存数据。使用 dbutils mv 命令,我将创建的文件从 dbfs 移动到 ADLS Gen 1 存储。此文件大小小于 1 MB,但是,我遇到了错误。但令人惊讶的是,我能够下载该文件。
File download error.
The file is larger than 250 MB. To download files larger than 250 MB, please use Azure Storage Explorer.
下面是我用来在 dbfs 中写入文件然后移至 ADLS 的代码。
with open('/dbfs/schema/{0}.sql'.format(tbl_name), 'w') as ddl_file:
ddl_file.write(ddl)
dbutils.fs.mv('{0}{1}.sql'.format(temp_schema_dir, tbl_name),'{0}{1}.sql'.format(schema_dir, tbl_name))