首页 > 解决方案 > Airflow DAG 任务等待大型下载完成

问题描述

气流新手。构建第一个 DAG,它执行一些日期检查,然后继续下载大型 Kaggle 数据集(7GB zip)。Airflow 在亚秒内完成此步骤,然后完成 DAG。想知道对 Kaggle API 的调用是否不起作用,或者我是否不知道 DAG 任务的任何异步默认行为。

感谢任何指针/确认,谢谢!

标签: pythonairflowkaggle

解决方案


推荐阅读