airflow - 使用 Airflow 的工作负载块

Question

在气流中是否可以将工作量分成块？例如：如果我有一个包含 1.000.000 条记录的文件，则可以处理每条 100.000 条记录并并行运行这些块。我知道 Celery 为此目的有一个叫做 Chunks 的东西，但我在 Airflow 中需要同样的东西。谢谢你的帮助！

标签： airflow

Answer 1

气流主要用于编排。您可以通过在 DAG 中动态分配任务来做到这一点。然而，这不是一个理想的用例。我的建议是使用 Airflow 安排将这些数据推送到 RabbitMQ 或 Redis 等消息队列中。