scala - 如何创建 Spark 活动以在 HDInsight 上运行 Scala 脚本？

Question

我想使用 HDInsight 执行 Scala 脚本。下面的文章描述了运行 py 脚本，但没有提到 abt Scala。我关注了这篇文章（而不是 py 文件，上传了 Scala 文件），但 Azure DataFactory 无法执行并出现错误消息：

({
    "errorCode": "2312",
    "message": "Spark job failed, batch id:4",
    "failureType": "UserError"
}

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark

标签： scalaazureapache-sparkazure-data-factoryazure-hdinsight

Answer 1

如果要执行用 scala 编写的 spark 代码，则必须调用 Jar file 。如果它太复杂，那么你也可以使用 databricks 笔记本。如果您遇到问题，请告诉我