时间戳

首页 > 解决方案 > Azure DataBrick PYTHONPATH 指向导入的轮子？

azure - Azure DataBrick PYTHONPATH 指向导入的轮子？

问题描述

我按照这里的简单步骤成功创建了我的 python 项目的 python 轮：https ://python101.pythonlibrary.org/chapter39_wheels.html

然后从我的 DataBrick Notebook 安装我的项目依赖项（我将项目的 requirements.txt 单独上传到我的 blob 存储）：

%pip install -r /dbfs/mnt/testdb-blob-container1/requirements.txt

然后我通过 Azure DataBrick 界面上传了我的项目的 python 轮：https ://docs.microsoft.com/en-us/azure/databricks/libraries/workspace-libraries

从我的 DataBrick Notebook 中，我成功引用了：

import myproject
import myproject.src
from myproject.src.core import constants as constants   <-- This is fine.

但这爆炸了，因为我的 datetimeutil 需要“常量”。从本地，我们有 PYTHONPATH。在 DataBrick 中，我们没有这个，所以下面尝试在下面导入 datetimeutil：

  from myproject.src.helpers import datetimeutil as datetimeutil

我们如何在 DataBrick 环境中设置 PYTHONPATH？

我试过的一件事是......我的轮子文件在这里：

dbfs:/FileStore/jars/23011937_5e16_4be0_b82a_88e83aaecadf/myproject-1.0-py3-none-any.whl

从我的笔记本：

import sys
sys.path.append("dbfs:/FileStore/jars/23011937_5e16_4be0_b82a_88e83aaecadf/")

这没有用。

谢谢

标签： azureazure-databricks

解决方案

导航到您的集群 > 库，然后单击安装新按钮。

使用 Library Source = Upload 和 Library Type = Python Whl 拖放 whl 文件。这将在 Databricks 集群上安装 python 自定义库。

推荐阅读