python - 造纸厂 PySpark 支持

我正在寻找一种方法来轻松执行 Jupyter Notebooks 的参数化运行，并且我找到了 Papermill 项目（https://github.com/nteract/papermill/）

这个工具似乎符合我的要求，但我找不到 PySpark 内核支持的任何参考。

造纸厂执行是否支持 PySpark 内核？

如果是，是否需要进行一些配置才能将其连接到 Jupyter 使用的 Spark 集群？

在此先感谢您的支持，马蒂亚

标签： pythonapache-sparkpysparkjupyter-notebookpapermill

Papermill 将使用 PySpark 内核，只要它们实现了 Jupyter 的内核规范。

配置您的内核将取决于所讨论的内核。通常这些从 spark.conf 和/或 spark.properties 文件中读取，以配置 Spark 的集群和启动时间设置。