apache-spark - Spark调度程序与Spark Core？

Question

我发现 Apache Spark 是出于教学目的，我对如何管理任务调度感到有些困惑。我发现 Spark 有 3 个调度选项：Spark Scheduler、YARN Scheduler 和 MESOS。但后来我也读到 Spark Core 管理任务的调度。所以我认为我在这里没有得到重点：

如果它管理任务的调度，为什么我们需要一个低于 Spark Core 的调度器？

那么，这些任务并行执行意味着什么？这是否意味着在更多工作人员上并行或在同一个工作人员上并行？

标签： apache-sparkparallel-processingscheduled-tasksscheduler

Answer 1

也许您对资源管理器和作业调度器感到困惑。对于 Spark 来说，它可以独立运行，换句话说，它具有资源（CPU\MEMORY）管理和作业（数据管道\作业流）管理。