airflow - 气流 - 如何以编程方式将任务标记为成功？

Question

我有一个将数据插入 SQL Server 数据库的 DAG。一些任务需要 24 小时以上才能运行，因为它插入的数据库性能不高。

如果任务运行时间超过 24 小时，我需要将它们自动标记为完成，因为我需要从它们继续，以便我可以开始插入接下来几天的数据（DAG 每天运行并且数据源有新数据每天都来）。如何以编程方式执行此操作，而无需进入 UI 将其标记为“成功”或“失败”？

标签： airflow

Answer 1

您可以遵循 StackOverflow 帖子中所示的类似方法：kill or terminate subprocess when timeout。然后一旦发生超时，你只需要确保你没有引发任何异常。