时间戳

首页 > 解决方案 > Scala 中的 Apache Spark 配置

scala - Scala 中的 Apache Spark 配置

问题描述

我在我的 Scala 应用程序中使用 Apache Spark。问题是应用程序正在永久使用所有 CPU 内核（平均为 %95）。我什至尝试将 spark.cores.max 设置为 1，但似乎没有帮助。我的应用程序在本地运行（有 4 个 CPU 内核）。可能是什么问题？以下是我用于创建 Spark 配置的版本和代码。

  val sparkConf = new SparkConf()
   .setAppName("MyApp")
   .setMaster("local[4]")
   .set("spark.cores.max", "1")

斯卡拉版本：2.11.12
火花版本：2.3.0

标签： scalaapache-spark

解决方案

推荐阅读