hadoop - Hadoop 调度程序与 oozie

Question

oozie 和 Hadoop 调度程序（FIFO、Fair、Capacity、Delay 等）有什么区别？生产环境中通常使用哪一种？

标签： hadoophadoop-yarnoozie

Answer 1

它们提供不同的功能。

Oozie 是一个作业调度器和编排引擎。它将在配置的队列中执行 YARN 作业。例如，mapreduce.job.queuename在 MR/Java 操作、tez.queue.nameHive Action（在 Tez 上）或--queueSpark 中。

您使用的队列取决于您拥有的工作负载，但公平或容量最适合多租户工作负载。

如果您有需要在其他人之前运行的作业，则队列中的 FIFO 排序效果最好，尽管 Oozie 对如何订购完整的作业有自己的定义

另外：Hadoop中的作业和任务调度