时间戳

首页 > 解决方案 > eclipse for Spark中的Scala插件问题

eclipse - eclipse for Spark中的Scala插件问题

问题描述

在此处输入图像描述 我正在为 Scala 使用 eclipse ide，并且我已经从 eclipse 市场下载了scala-ide插件。在 eclipse 中使用 scala 插件时出现错误。在 Eclipse 中使用 dot(.) 或自动生成函数时显示以下错误消息：

在“计算附加信息”期间发生内部错误。org.eclipse.jdt.internal.core.SearchableEnvironment.(Lorg/eclipse/jdt/internal/core/JavaProject;Lorg/eclipse/jdt/core/WorkingCopyOwner;)

    import org.apache.spark.SparkContext
    import org.apache.spark.SparkConf
    import org.apache.spark.sql.SparkSession
    import java.lang.Long

    object UrbanPopulation {
        def main(args: Array[String]) {
            val spark = SparkSession
                .builder
                .appName("UrbanPopulation")
                .getOrCreate()
            val data = spark.read.csv(args(0)).rdd
            val result = data.map { line => {
            val uPopulation = line.getString(10).replaceAll(",", "")
                var uPopNum = 0L
                    if (uPopulation.length() > 0)
                    uPopNum = Long.parseLong(uPopulation)
                    (uPopNum, line.getString(0))
            }}.sortByKey(false).first

   spark.sparkContext.parallelize(Seq(result)).saveAsTextFile(args(1))
   spark.stop
        }
    }

[![enter image description here][1]][1]


      [1]: https://i.stack.imgur.com/aTGbp.png

标签： eclipsescalaapache-spark

解决方案

这看起来像 Eclipse 错误546156，它表示由于 Ecipe JDT 中的不兼容更改，Scala 的代码完成在 Eclipse 2019-03 中被破坏。

该错误在计划于 2019 年 4 月 19 日发布的 Eclipse 2019-06 (2019-06M1) 的第一个里程碑版本中被标记为已修复。

推荐阅读