apache-spark - spark 提交配置执行器、最大核心数和执行器核心数
问题描述
我试图了解当我提交火花作业时这三个标志集的组合将返回什么
--conf 'spark.executor.cores=2' \
--conf spark.cores.max=25\
--conf spark.executor.instances=25 \
如果你设置所有这些，它尊重哪一个？总共是 25 个核心还是 50 个核心？
解决方案
推荐阅读
- java - Java、Selenium、IntelliJ - 无法使用 DataFile.properties 中的变量
- angular - ng2-completer 在鼠标单击时触发的选定事件已损坏
- ruby-on-rails - googleapi“oauth2/v4/token”没有返回“refresh_token”
- r - R-markdown 表手动输入内容
- oracle - 在一个 plsql 块中创建和使用表
- fullcalendar - 事件上的 resourceEditable=false 是否应该禁止该事件在资源之间切换？
- javascript - 仅在第一个逗号之后插入逗号，如果它是数字正则表达式
- reactjs - Electron.js 和 webpack 与 Creact-react-app
- python - 创建一个从第 x 天开始的自定义月份
- java - 没有可用的“repository.Dao”类型的合格 bean