首页 > 解决方案 > Spark可以保证每个任务的cpu吗?

问题描述

如果我设置cpu.task=1,Spark如何保证任务独占cpu?我记得,cpu 调度是由内核完成的,对用户来说是透明的。

标签: apache-spark

解决方案


它不属于 Spark 的东西,它应该属于底层资源管理器,例如 Hadoop Yarn 或 Mesos

参考:

  1. http://spark.apache.org/docs/latest/running-on-yarn.html https://spark.apache.org/docs/latest/running-on-mesos.html

推荐阅读