airflow - 用于简单频繁 DAG/任务的 Apache Airflow 基准测试？

Question

我正在考虑将 Apache AIrflow 作为我项目中的组件之一。

找不到大致的基准。因此，我有很多问题。以具有 8 个 CPU 和 32 Gb RAM 的 P 为例。

以及具有此类任务的 DAG：“curl REST”=>“提取内容”=>“保存到数据库”=>“发送电子邮件”

• Apache AIrflow 是否适合每秒执行的频繁任务？
• 这样的 PC 每秒可以执行多少并行任务？
• 这样的 DAG 需要多少内存？
• 例如，如果每 2-3 秒调用 1000 个 DUG，Apache AIrflow 会做得很好吗？

分享你的经验。谢谢！

标签： airflowetlbenchmarkingairflow-scheduler