apache-spark - 如何在一个应用程序中提交多个工作的火花

Question

我有一个使用 spark 2.1(scala) 的报表统计项目，它是这样工作的：</p>

object PtStatsDayApp extends App {
    Stats A...
    Stats B...
    Stats C...
     .....     
}

有人将许多统计计算（大部分不相关）放在一个类中并使用 shell 提交。我发现它有两个问题：

• 如果一个统计数据卡住，那么下面的其他统计数据将无法运行

• 如果一个统计失败，那么应用程序将从头开始重新运行

  我有两个重构解决方案：

• 将每个统计信息放在一个类中，但需要更多脚本。这个解决方案是否会因为提交这么多而产生很多开销？
• 并行运行这些统计信息。这个问题是资源压力，还是火花可以适当地处理它？

还有其他想法或最佳实践吗？谢谢

标签： apache-spark

Answer 1

有几个 3d 派对免费 Spark 调度程序，如 Airflow，但我建议使用 Spark Launcher API 并以编程方式编写启动逻辑。使用此 API，您可以并行、顺序或任何您想要的方式运行您的作业。

文档链接：https ://spark.apache.org/docs/2.3.0/api/java/index.html?org/apache/spark/launcher/package-summary.html

并行运行作业的效率主要取决于 Spark 集群配置。一般来说，Spark 支持这种类型的工作负载。