python - 为具有不同 auth_info 但从 API 提取数据并推送到数据库的相同逻辑的多个客户端创建 DAG 的最佳方法是什么？

问题描述

我是气流的初学者。我想在 Airflow 中创建一个管道，该管道将从 API 中提取数据并插入 BigQuery。我想为存储到数据库中的多个客户端执行相同的操作。您能否建议实施它的最佳方法？我们是否应该创建一个 DAG，它将遍历每个客户端的元数据（身份验证信息、数据库名称、表名等），连接到 API，获取数据并插入 Bigquery 数据库。或者我们是否应该为每个客户端创建一个单独的 DAG，该 DAG 将动态创建，以便所有客户端管道相互隔离，并且如果任何一个失败不会影响其他客户端等？你能指导一下吗？

标签： pythonairflowairflow-scheduler

python - 为具有不同 auth_info 但从 API 提取数据并推送到数据库的相同逻辑的多个客户端创建 DAG 的最佳方法是什么？

问题描述

解决方案

推荐阅读