azure - 从 DBFS 挂载到 Azure Data Lake 创建新表
问题描述
我在 Azure Data Lake 上有一个安装到 Azure Data Bricks 群集的目录。使用 CLI 工具浏览文件系统或仅通过笔记本运行 dbfs utils,我可以看到该目录中有文件和数据。进一步 - 对这些文件执行查询是成功的,数据被成功读入和写出。
我还可以成功浏览到我的挂载的根目录('/mnt',因为这就是这里使用的文档:https://docs.databricks.com/spark/latest/data-sources/azure/azure-datalake。 html)在“创建新表”用户界面中(通过数据 -> 添加表 -> DBFS)。
但是,该根目录下没有列出子目录。
这是 DBFS 的一个怪癖吗?UI的怪癖?或者我是否需要重新配置一些东西以允许我通过该 UI 添加表格?
解决方案
Data UI 当前不支持挂载,它只适用于内部 DBFS。所以目前没有配置选项。如果您想使用此 UI 进行数据上传(而不是例如存储资源管理器),唯一的解决方案是之后通过 dbutils.fs.mv 将数据从内部 DBFS 移动到挂载目录。
推荐阅读
- scala - Spark:在数据框的同一列中解析具有不同格式(MM-dd-yyyy HH:mm, MM/dd/yy H:mm)的日期/时间戳
- r - if_else 和 case_when 与 group_by 之间的行为差异
- c# - 在 c# 中正确使用 async/await
- node.js - HTML 未提取 NODEJS
- c# - 通过状态图的最短路径
- python - 我必须使用整个 UUID 字符串来保证唯一性吗?
- python - 我在 Python 程序中遇到 JINJA not found 错误
- php - 来自连接两列的 Larawel orWhere 查询
- powershell - 使用 Powershell 重构文本文件
- c# - while循环中一次性变量的范围何时结束?