scala - spark-shell 使用类型安全配置加载 scala 配置

Question

我正在尝试application.conf使用 typesafe-config 加载 spark-shell。

以下是代码和 spark-shell 命令：

斯卡拉代码：

import com.typesafe.config.{Config, ConfigFactory}

val config: Config = ConfigFactory.load("application.conf")
val env = config.getString("key.key1")

火花外壳命令：

• spark-shell --jars confing-1.3.4.jar --files application.conf --driver-java-options -Dconfig.file=application.conf（尝试1）
• spark-shell --jars confing-1.3.4.jar (attempt 2)

应用程序.conf：

key {

 key1 = "value1"

}

错误：

com.typesafe.config.ConfigException$Missing: system properties: No configuration setting found for key 'key'

标签： scalaapache-sparktypesafe-config

Answer 1

你的 conf 文件在哪里？您是否尝试使用根目录的完整路径？例如：

val config: Config = ConfigFactory.load("/<root-path>/application.conf")