airflow - Airflow 如何确定任务是失败还是成功，并安排重试？

Question

我对 Airflow 很陌生（刚开始阅读它），我有几个关于如何确定任务是失败还是成功以及安排重试的问题。

例如，我要运行的任务是始终返回 JSON 对象的 API 调用。JSON 对象中有一个msg告诉我调用是成功还是失败的。那么在这种情况下，对于 Airflow 来说，这个任务是否总是被视为成功，因为总是返回一个 JSON 对象？如果是这样，我如何在检查后向 Airflow 指示此任务的真实状态msg？

并说我安排任务每周运行一次。但如果任务失败，那么我会将其设置为每 10 分钟重试 3 次。如果失败，那么我希望它在第二天再试一次。我知道我可以在 DAG 中配置 3 次重试，但是有没有办法配置第二天的重试呢？

标签： airflow

Answer 1

我们可以将在 Airflow 上执行的所有作业分为两种类型的任务：

• 传感器：将运行一小段代码，根据它返回 True 或 False，它会执行另一个poke或重新安排任务执行另一个poke，直到超时。只有发生异常时，才会使用与retryOperator 端相同的逻辑。
• 操作员：这是当手头的任务不是传感器时的逻辑。这将运行您的一段代码（您的 BaseOperator），如果没有引发异常，则将其标记为成功。关于重试逻辑：如果您将retries=3关键字参数指定为 BaseOperator，它将重试 3 次。在第三次重试时，它会将任务标记为success好像不存在异常或failed存在异常。当一个任务应该被重试时，它被标记为 state up_for_retry。