pyspark - 有没有办法在 Databricks 笔记本中参数化魔术命令？

Question

我希望能够运行配置文件列表并使用 %run 将配置文件中的变量导入数据块笔记本。但是我找不到在 %run 之后动态更改文件的方法。

我试过指定这样的参数： config = './config.py' %run $config 但它不起作用。我无法使用 dbutils.notebook.run(config)，因为我无法访问主笔记本中的变量。

有什么办法可以做到这一点吗？

标签： pysparkdatabricks

Answer 1

由于您已经提到了配置文件，因此我认为您在某些路径中已经有可用的配置文件，而这些不是 Databricks 笔记本。

您可以在一个笔记本中使用 python - configparser 来读取配置文件并在主笔记本中使用 %run 指定笔记本路径（或者您可以通过在主笔记本中使用 configparser 来忽略笔记本本身）

参考：如何使用 python 读取配置文件