airflow - 气流启动多个并发通用任务
问题描述
尝试在 Cloud Composer 上同时完成一些任务:
arr = {}
for i in xrange(3):
print("i: " + str(i))
command_formatted = command_template.format(str(i))
create_training_instance = bash_operator.BashOperator(
task_id='create_training_instance',
bash_command=command_formatted)
arr[i] = create_training_instance
start_training.set_downstream(arr[i])
收到以下错误:
损坏的 DAG:[/home/airflow/gcs/dags/scale_simple.py] 依赖,create_training_instance 已经注册
解决方案
对于task_id
单个任务,应该始终是唯一的。所以,你可以使用类似create_training_instance_{}.format(i)
as 的东西task_id
。
推荐阅读
- ruby-on-rails - 查询使用 FactoryBot 创建 has_many 和 belongs_to 记录
- sql - MS SQL 连接两个带有“IN”面问题的表
- r - 如何从R中的数据框中获取特定值
- android - Mirage Solo 上的相机访问权限?
- css - 可以找出psd中的哪种字体使用gimp?或者在 ubuntu 上使用其他应用程序?
- r - 更改堆积条形图中的顺序
- google-app-engine - BigQuery 插入错误,状态:挂起,状态码 5
- node.js - React:通过节点服务器渲染时有没有办法使用 componentDidMount()
- c# - 在单击按钮时从一个用户控件打开用户控件时出现问题 - c# winforms
- php - 使用 PHP-Symfony 将数组中的元素转换为自定义字符串