databricks - Databricks - 将 dbfs:/FileStore 文件下载到我的本地计算机
问题描述
通常我使用下面的 URL 将文件从 Databricks DBFS FileStore 下载到我的本地计算机。
*https://<MY_DATABRICKS_INSTANCE_NAME>/fileStore/?o=<NUMBER_FROM_ORIGINAL_URL>*
但是,这次没有下载文件,而是 URL 将我引导到 Databricks 主页。有人对我如何将文件从 DBFS 下载到本地有任何建议吗?或者应该如何修复 URL 以使其工作?
任何建议将不胜感激!
PJ
解决方案
方法 1:使用 Databricks 门户 GUI,您可以下载完整结果(最多 1 百万行)。
方法 2 :使用 Databricks CLI
要下载完整结果,首先将文件保存到 dbfs,然后使用 Databricks cli 将文件复制到本地计算机,如下所示。
dbfs cp "dbfs:/FileStore/tables/my_my.csv" "A:\AzureAnalytics"
您可以使用 DBFS CLI、DBFS API、Databricks 文件系统实用程序 (dbutils.fs)、Spark API 和本地文件 API 访问 DBFS 对象。
在 Spark 集群中,您可以使用 Databricks 文件系统实用程序、Spark API 或本地文件 API 访问 DBFS 对象。
在本地计算机上,您可以使用Databricks CLI或DBFS API访问 DBFS 对象。
参考: Azure Databricks – 访问 DBFS
DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开易于使用的命令行界面。使用此客户端,您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 进行交互。例如:
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
参考: 安装和配置 Azure Databricks CLI
方法3:使用第三方工具DBFS Explorer
DBFS Explorer是作为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法而创建的。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名令牌才能连接。
推荐阅读
- sql-server-2014 - SQL Server 2014 偏移提取优化
- android - 二维码扫描仪不间断扫描
- json - 在 Tiled .json 解析层之间绘制播放器
- amazon-web-services - 把nginx放在aws ELB后面?
- asp.net - ASP.net Web API Singleton 不起作用
- angular - 如何更改离子3中的输入值
- rapidminer - 如何提取关于实体和实体之间关系的抽象?
- javascript - 如何在 PHP while 循环中显示 Ajax 响应
- python - 如何标记散点图
- ruby-on-rails - HTTP 500 - 在 sharetribe opensoure 上找不到文件“vendor-bundle”