scala - 在 Azure 数据工厂中提交 Spark

Question

我们如何在 Azure 数据工厂中集成 spark-scala JAR？我有一个用 Scala 构建的现有 Spark Jar，我需要从 ADF 的 Spark Activity 调用它。

标签： scalaazureapache-sparkazure-data-factoryazure-hdinsight

Answer 1

注意：在 Azure 数据工厂中，entryFile 必须是Python或jar 文件，您需要将 Scala 源代码编译为 jar 文件，然后才能将其作为 spark 应用程序运行。

参考： https ://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-spark