scala - 使用 IntelliJ idea 的 Scala 工作表作为 Apache Spark 的 Scala REPL

Question

是否可以在 IntelliJ 中使用 Scala 工作表作为 Jupyter 笔记本的替代品。我遵循了这里提到的解决方案，但是它在本地而不是在远程集群上运行代码。我的主要挑战是 IntelliJ IDE 在我的笔记本电脑上本地运行，而 spark 集群在云中。如何让 IntelliJ 使用远程 SBT？

标签： scalaapache-sparkbigdatajupyterapache-toree

Answer 1

如果您只是尝试以更具交互性/即席方式的教程来学习 Spark 编程和概念，那么您在帖子中提到的链接就是您将如何做到的。在这种模式下，您基本上是在模拟一个单节点 Spark 集群（即您的本地计算机），它既充当驱动程序节点，又充当执行程序节点（一体化）。

但是，在更真实的场景中，这并不是您在 ACTUAL Spark 集群上实际提交和运行 Spark 应用程序的方式。如果这就是你想要做的，你需要使用 Spark 提供的两种部署模式之一：客户端模式和集群模式。您将使用“spark-submit”命令行实用程序将已编译的 Spark 库（胖 JAR）作为 Spark 作业提交。更多细节在这里。