首页 > 解决方案 > 如何自动创建 sparkmagic 会话(无需手动与小部件用户界面交互)?

问题描述

我正在使用sparkmagic通过 Livy 将 Jupyter 笔记本连接到远程火花集群。

现在的方式是,我需要执行一个笔记本单元来调出%manage_spark用户界面小部件,并手动选择语言并单击“创建会话”以建立笔记本的火花上下文。

在此处输入图像描述

有没有办法在执行单元格时自动生成会话,而不必手动选择语言并点击“创建会话”?

sparkmagic例如,可以为某种方式提供论据吗?

我想象能够执行内核-> 重新启动并全部运行,并让笔记本完全执行。

标签: pythonapache-sparkjupyter

解决方案


有点晚了,但这是我在单元格中传递 spark 会话参数的方式

%spark add -s session -l python -t None -u http://localhost:8998

推荐阅读