hadoop-yarn - Airflow：使用 LivyBatchOperator 在 yarn 中提交 pyspark 应用程序

Question

我遇到了一个叫做LivyBatchOperator的东西，但找不到一个很好的例子来在气流中提交 pyspark 应用程序。任何有关此的信息将不胜感激。提前致谢。

标签： hadoop-yarnlivyairflowapache-spark-2.3

Answer 1

我遇到了这篇博文，它可以帮助您了解 Airflow + Spark 上的可用选项。

这是 LivyBatchOperator 的示例，这里是关于如何安装气流-livy-operator 的示例。

我会推荐以下选项：

1. AWS EMR：使用EmrAddStepsOperator
2. 常规 Spark 集群：使用上述机制在气流中设置 Livy 算子。从气流服务器的角度来看，这将为您提供一个巧妙的配置，并在 spark 集群前使用 Livy。

让我知道你的回应！