python - 监控通过 Airflow 启动的 EC2 实例

Question

我有一个气流，它通过 boto3 代码创建一个 EC2 现场队列实例。启动的 EC2 实例进行一些处理并自行终止。我想确保只有在 EC2 实例中的处理成功完成后才能运行下一步。

有可用的 EC2 传感器，但没有提供示例。我还想确保如果 EC2 实例中的处理失败，那么我的气流应该停止而不是继续前进。

这里的一个问题是，launch_ec2 步骤不直接返回实例 ID，因为它是现场车队请求，所以我需要等待 30-40 秒，然后转到下一步

有人可以帮我处理 EC2Sensors 吗？

launch_ec2_instance = PythonOperator(
    task_id='launch_ec2',
    python_callable=launch_instance,
    op_kwargs={'dataset_name': "{{ task_instance.xcom_pull(task_ids='athena_task') }}.csv"},
    dag=dag

标签： pythonamazon-ec2airflowboto3