首页 > 解决方案 > 如果未指定池,FAIR 火花调度仍然有效吗?

问题描述

Spark 的 FAIR 调度是否仍然有效,即使您没有设置

sc.setLocalProperty("spark.scheduler.pool", "pool1") 

在你的代码中?

我了解到默认情况下使用 FIFO,并且--conf spark.scheduler.mode=FAIR在提交 spark 作业期间进行设置会将调度模式更改为 FAIR。

但是,如果我没有在我的代码中指定任何池,它还会使用 FAIR 调度吗?

标签: apache-sparkpysparkpooljob-scheduling

解决方案


推荐阅读