amazon-web-services - Apache Airflow - 在 EC2 上运行任务
问题描述
我们正在考虑将我们的数据管道迁移到 Airflow，我们需要的一项是任务能够创建、执行和销毁 EC2 实例。我知道 Airflow 支持 ECS 和 Fargate，它们会产生类似的效果，但并非我们所有的任务都可以直接适应该范式而无需进行重大重构。
我看到我们可以使用分布式执行器并手动向上和向下扩展工作人员池，但我们真的不需要一直增加工作人员，只是偶尔，当我们这样做时，我们会得到很好的服务每个任务运行时都有一台专用机器，在任务完成时销毁每台机器。
我脑海中的想法类似于“EphemeralEC2Operator”，它将启动一台机器，SSH 进入，运行一个编排任务的 bash 脚本，然后将机器拆除。
这种能力是否存在，还是我们必须自己实现？
提前致谢。
解决方案
推荐阅读
- javascript - 在特定组件上隐藏 Mat Sidebar 和 Mat Tool bar
- pandas - pandas 中组的中位数插补（处理组中位数为 NaN）
- google-kubernetes-engine - 在 GKE 上，dcgm-exporter 无法获取 pod/container 的 gpu 使用情况，只能获取节点 gpu 使用情况
- appium-android - 线程“主”java.lang.NullPointerException 中的异常：条目中的空值：lastScrollData=null
- server - 如何镜像托管 500 个网站的服务器
- azure - Terraform azurerm azurerm_data_factory_dataset_binary 参数定义
- python - 在 Django 中使用用户模型创建关系数据库。我想我已经创建了关系数据库，但我不知道出了什么问题
- tensorflow - 具有图像增强数据集的 CNN 模型
- swift - 为模拟器构建应用程序时排除 *.a 文件
- java - 如何在 DragListener 中获取画布项目以便在其中绘制？