airflow - 气流是否支持跨数据中心？

Question

我们希望使用 Apache Airflow 来协调跨全球数据中心（区域）的工作。据我所知，完成这项工作的唯一方法是授予所有任务访问/权限以直接写入某些云暴露的数据库。有谁知道更好的方法来实现这个？我希望有一种方法可以让任务通过消息队列异步回传到中央 Airflow 数据库，但我没有看到任何提及。有什么建议么？

标签： airflowdata-pipeline

Answer 1

据我所知，需要一个用于 Airflow 内部结构的中央数据库。你现在无法摆脱它。

请参阅文档：https ://airflow.apache.org/configuration.html?highlight=initdb#setting-up-a-backend