bigdata - Azkaban:由于管道模式下的阻塞作业太多而导致失败
问题描述
Azkaban 的流水线模式执行导致在 backlog 中积累了足够数量的作业后作业失败。如果流的执行时间超过其调度频率,就会发生这种情况: 有没有办法让 Azkaban 仅在前一个实例结束时启动一个新实例,同时不跳过任何实例。我们不能跳过实例,因为传递给每个实例的时间参数有助于选择必须处理的数据的持续时间。
解决方案
推荐阅读
- c# - 即使我没有引用它们,Visual Studio 也会将 DLL 复制到构建目录
- python - 添加逗号使 python 对象成为元组
- javascript - Javascript - 从 mp3 文件录制音频
- node.js - 将文件保存到 AWS S3
- php - 如何专门为安全且不允许上传 PHP 或 html 的 json 文件编写 PHP 文件上传代码
- c# - How add a List of Elements into a list without reference?
- html - 样式表未从 URL 加载(GitHub 原始)
- javascript - JavaScript/jQuery:SyntaxError:函数语句需要名称
- powershell - 有没有办法将 2 天添加到日期字符串并使用结果更新另一个字段?
- discord.js - 如何根据 DIScord bot 中的 DM 消息向用户添加角色