airflow-scheduler - 气流 | 多天批量调度 URL

Question

我需要一些有关使用 Airflow 设置刮板的建议。

问题是可以说我有一个网站要抓取，它有一些 3k 链接。我想把它分成 3 批，每批 1k，所有这些都必须在不同的日子里运行。

在这种情况下，最好的方法是什么？如果我们可以做一些条件参数基础调度。示例 我有 excel 作为我的数据源，所以在每个 url 旁边我可以提到批次号……如果我们可以以不同的方式安排，现在基于批次号？

希望这有点道理。请建议

标签： airflow-schedulerairflow