java - 为什么设置火花上下文时出现此错误？

Question

我正在尝试如下设置火花上下文。

import org.apache.spark.SparkConf;
public class Main {
    public static void main(String []args){
        SparkConf conf = new SparkConf();
        SparkConf sparkConf = conf.setAppName("test");

    }
}

但是，intelliJ 抛出错误，表明我不能access the scala.Clonable在行中SparkConf sparkConf = conf.setAppName("test");。

我正确地制作了 gradle 文档，以便我需要的所有库都已下载到我的存储库，如下所示。

apply plugin: 'scala'

buildscript {
    repositories {
        mavenCentral()
    }
}

repositories {
    mavenLocal()
    mavenCentral()
}

dependencies{
    compile "org.apache.spark:spark-core_2.10:1.6.1"
}

我期待你的回复。

谢谢。

标签： javaapache-sparkgradle

Answer 1

在我看来，您使用的是错误版本的 scala。

尝试将 scala 库显式添加到依赖项

dependencies {
    compile 'org.scala-lang:scala-library:2.10.5'
}

这应该触发使用正确的 scala 编译器