scala - scala ide中的spark scala代码未显示为scala应用程序运行

Question

我是 spark scala 开发人员，但我遇到了一些奇怪的问题。当我尝试使用 main 方法执行 scala 代码时，它没有显示作为 scala 应用程序运行的选项。

我完全一无所知，因为通常情况下，它发生在没有主要方法但问题也是主要方法的情况下。

代码如下。

package org.apache.spark.examples.sql

import org.apache.spark.sql.{Encoder, Encoders, SparkSession}
import org.apache.spark.sql.expressions.Aggregator

// scalastyle:off println
object SimpleTypedAggregator {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder
      .master("local[*]")
      .appName("common typed aggregator implementations")
      .getOrCreate()
      spark.sparkContext.setLogLevel("ERROR")

    import spark.implicits._
    val ds = spark.range(20).select(('id % 3).as("key"), 'id).as[(Long, Long)]
    println("input data:")
    ds.show()

标签： scalaapache-spark

Answer 1

你在使用 IntelliJ IDEA 吗？添加 FrameWork Support.. ，然后选中Scala复选框