databricks - 以编程方式将库导入 Databricks 中的工作区

Question

我想以编程方式将（Python Wheel）库添加到/SharedDatabricks 上的工作区。在 GUI（工作区 > 导入 > 库）中很容易做到，但我无法弄清楚如何在 Databricks CLI 中做到这一点。

所以我认为我有两种可能的策略：

1. 将其安装为库
2. 将其作为文件复制到工作区

似乎 1) 不可行，因为库术语专用于集群上的实际安装，而 2) 不可行，因为workspace import需要语言（Python、R、SQL 等）并将文件解释为脚本。

所以我对如何解决这个问题有点迷茫。

标签： databricksazure-databricks

Answer 1

根据我的观察：

注意： databricks workspace import “将文件从本地导入 Databricks 工作区。”

我尝试过使用databricks workspace importcmdlet 并理解它是作为文件复制的。

如何使用 Azure Databricks CLI 安装库？

使用 DBFS CLI 将库从本地目录复制到 DBFS：

databricks fs cp "C:\Users\Azurewala\Downloads\wheel-0.33.4-py2.py3-none-any.whl" dbfs:/FileStore/jars

使用 API 或 UI 创建集群。

使用databricks clusters list并复制 cluster-id 获取集群 ID。

使用 DBFS CLI 将 DBFS 中的库附加到集群：

databricks libraries install --cluster-id "0802-090441-honks846" --whl "dbfs:/FileStore/jars/wheel-0.33.4-py2.py3-none-any.whl"

使用 Azure Databricks CLI 成功安装了一个库：

希望这可以帮助。