python - VS Code Jupyter 扩展：在 Spark 集群上运行我的笔记本？

Question

1. 我是一个极端的初学者，我喜欢使用 VS Code 的 Jupyter 扩展来编写 Python 代码。
2. 我最近开始使用 Azure DataBricks，我的笔记本似乎在远程 Spark 集群上运行。
3. 在远程 Spark 集群上运行我的笔记本时，我希望能够获得与 VS Code 的 Jupyter 扩展相同的体验。
4. 有没有办法可以用其他类型的 Spark 集群做 #3？（理想情况下，我想对任意 Spark 集群执行此操作。）

问题 #4 取决于前提 1-3，这可能是错误的或具有误导性的。

我可能没有正确解释。我想我正在 VS Code 中寻找类似于JupyterLab Integration为 JupyterLab 所做的事情：

另一方面，JupyterLab 集成将笔记本保存在本地，但如果选择了远程内核，则在远程集群上运行所有代码。这使您的本地 JupyterLab 能够在 Databricks 维护的远程环境上运行单节点数据科学笔记本（使用 pandas、scikit-learn 等），或者在远程 Databricks GPU 机器上运行您的深度学习代码。

但是 JupyterLab 集成似乎部分依赖 SSH，所以也许有一种方法可以通过使用 SSH 在 JupyterLab 之外实现部分功能？

标签： pythonapache-sparkvisual-studio-codejupyter-notebook