apache-spark - 如果未指定池,FAIR 火花调度仍然有效吗?
问题描述
Spark 的 FAIR 调度是否仍然有效,即使您没有设置
sc.setLocalProperty("spark.scheduler.pool", "pool1")
在你的代码中?
我了解到默认情况下使用 FIFO,并且--conf spark.scheduler.mode=FAIR
在提交 spark 作业期间进行设置会将调度模式更改为 FAIR。
但是,如果我没有在我的代码中指定任何池,它还会使用 FAIR 调度吗?
解决方案
推荐阅读
- python - 提取文本和 | 之间的数字 使用正则表达式 Python
- c# - C# 模拟保存在 NAS 驱动器上不起作用
- python - 如何在另一个 sys.argv 之前制作多个 sys.argv
- powerbuilder - 更改小数和千位分隔符后导入数值数据
- php - 在 php 中使用 union 排序
- python - 如何将任务结果从 Celery 客户端代码存储到数据库?
- android - 开始新活动时使用 Glide
- apache-spark - PySpark 中的连接列表
- angular - 如何在提交表单时关闭 ngboostrap 模型?
- c# - Azure Bot Framework:处理用户发送多条连续消息