时间戳

首页 > 解决方案 > 将python模块导入databricks中的python脚本

python - 将python模块导入databricks中的python脚本

问题描述

我正在处理 Azure DataFactory 中的一个项目，并且我有一个运行 Databricks python 脚本的管道。此特定脚本位于 Databricks 文件系统中并由 ADF 管道运行，它从位于同一文件夹中的另一个 python 脚本导入模块（两个脚本都位于 中dbfs:/FileStore/code）。

下面的代码可以将 python 模块导入 Databricks 笔记本，但在导入 python 脚本时不起作用。

sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect

在集群日志中，我得到： Import Error: No module named conn_config

我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗？

标签： pythonazure-pipelinesazure-data-factorydatabricksazure-databricks

解决方案

你不能dbfs:在其中使用 path with - Python 对这个文件系统一无所知。你有两个选择：

  1. 替换dbfs:/为/dbfs/（不适用于社区版）
  2. 使用 将文件从 DBFS 复制到本地文件系统dbutils.fs.cp("dbfs:/FileStore/code", "file:/tmp/code", True)，并引用该本地文件名：/tmp/code

推荐阅读