apache-spark - 点燃 NoSuchMethodError

Question

我正在使用 spark 3.0.0 预览版和 Ignite 2.7.6 与 jre 1.7 的 jdk 11.0 并尝试集成 ignite spark 但在运行时低于错误。每次调用 ignite 函数都会失败并出现相同的错误。非常感谢任何帮助。我正在使用本地 ignite 服务器和默认配置

JavaSparkContext jsc = new JavaSparkContext(sc);
JavaIgniteContext igniteContext1 
=new JavaIgniteContext(jsc, new 
IgniteConfigProvider());
return ignite.configuration();

Exception in thread "main" 
java.lang.NoSuchMethodError 
org.apache.spark.sql.SQLContext.<init>(Lorg/apache/spark/SparkContext;)
    at org.apache.ignite.spark.IgniteContext.<init>(IgniteContext.scala:113)
    at org.apache.ignite.spark.JavaIgniteContext.<init>(JavaIgnit`enter code here`eContext.scala:43)
    at org.apache.ignite.spark.JavaIgniteContext.<init>(JavaIgniteContext.scala:46)
    at utils.MemberCoverageFullLocal.main(MemberCoverageFullLocal.java:200)

标签： apache-sparkignite

Answer 1

Apache Ignite 2.7.6 支持与 Apache Spark 2.3 集成。在 2.8 版本中还添加了对 Apache Spark 2.4 的支持。

可能会在下一个版本中添加对 Apache Spark 3.0.0 的支持。