python - 如何自动创建 sparkmagic 会话(无需手动与小部件用户界面交互)?
问题描述
我正在使用sparkmagic
通过 Livy 将 Jupyter 笔记本连接到远程火花集群。
现在的方式是,我需要执行一个笔记本单元来调出%manage_spark
用户界面小部件,并手动选择语言并单击“创建会话”以建立笔记本的火花上下文。
有没有办法在执行单元格时自动生成会话,而不必手动选择语言并点击“创建会话”?
sparkmagic
例如,可以为某种方式提供论据吗?
我想象能够执行内核-> 重新启动并全部运行,并让笔记本完全执行。
解决方案
有点晚了,但这是我在单元格中传递 spark 会话参数的方式
%spark add -s session -l python -t None -u http://localhost:8998
推荐阅读
- json - 无法使用 SwiftyJSON 访问 JSON 数据
- vue.js - 使用 vue js 更改 Leaflet js 地图颜色
- spring - @EnableOAuth2Sso 和 @EnableResourceServer 在同一个应用程序中
- reactjs - 反应 axios 一一获取值
- amazon-web-services - 如何将bucket-owner-full-control授予从一个帐户中的redshift卸载到另一个帐户中的s3存储桶的文件?
- android - AdMob 测试广告显示,真实的不显示(尝试了一切)
- vba - 尝试使用 FormulaArray 时出现错误 1004。替换技巧不起作用
- python - 正则表达式剪切字符串
- c# - 多维数组值
- android - 从 github 合并两个 android studio 项目