apache-spark - Spark Streaming 中 setJars() 方法的输入应该是什么

Question

val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))

假设我正在创建一个 Spark Streaming 应用程序

“your-app.jar”文件的内容应该是什么？我是否必须在我的本地文件系统中手动创建它并传递路径或者是使用 sbt 编译的 Scala 文件。

如果那是一个scala文件，请帮助编写代码

由于我是初学者，我只是想运行一些示例代码。

标签： apache-sparkspark-streaming

Answer 1

SparkConf 类的 setJars 方法获取需要在集群上分发的外部 JAR。任何外部驱动程序，如 JDBC 等。

如果这是您所要求的，您不必在此传递您自己的应用程序 JAR。