首页 > 解决方案 > Azkaban:由于管道模式下的阻塞作业太多而导致失败

问题描述

Azkaban 的流水线模式执行导致在 backlog 中积累了足够数量的作业后作业失败。如果的执行时间超过其调度频率,就会发生这种情况: 在此处输入图像描述 有没有办法让 Azkaban 仅在前一个实例结束时启动一个新实例,同时不跳过任何实例。我们不能跳过实例,因为传递给每个实例的时间参数有助于选择必须处理的数据的持续时间。

标签: bigdataschedulerjob-schedulingazkaban

解决方案


推荐阅读