scala - AWS Glue 作业访问参数

Question

我有一个用 Scala 编写的胶水作业（Spark 作业），我想将参数传递给它。我使用 lambda 函数来触发工作。我应该如何访问传递给作业的参数？

这是正确的方法吗？

def main(sysArgs: Array[String]) {

    /** This is input parameter */
   val par = sysArgs(0)

}

还是其他？

标签： scalaapache-sparkaws-lambdaaws-glue

Answer 1

使用GlueArgParser解析参数：

import com.amazonaws.services.glue.util.GlueArgParser

val args = GlueArgParser.getResolvedOptions(
  sysArgs, Array(
    "JOB_NAME",
    "CUSTOM_PARAMETER")
)
val param = args("CUSTOM_PARAMETER")

请注意，参数应带前缀--（即。--CUSTOM_PARAMETER）