amazon-web-services - 如何启动具有更大默认临时存储的 Fargate pod?
问题描述
我目前在 Kubernetes (aws EKS ) 上使用Apache Airflow来安排批处理作业。对于大型不常见的工作,我使用EKS Fargate。
根据这里的文档:
配置后,在 Fargate 上运行的每个 pod 都会收到 20 GB 的容器映像层存储。Pod 存储是短暂的。
我正在运行需要大于 20 GB 的临时存储的工作负载。阅读 ECS Fargate 上的文档让我认为(至少对于 ECS)可以修改初始临时存储:
支持的最小值为 21 GiB,支持的最大值为 200 GiB。
最后,我目前在气流中使用KubernetesPodOperator,它允许我添加注释、标签、标签、资源限制等。启动 Fargate pod 时。
是否可以在具有更大默认临时存储的 EKS 上启动 Fargate pod?如果有怎么办?
解决方案
无法将 Fargate 扩展临时本地存储选项与 EKS 一起使用(目前只能与 ECS 一起使用)。您可以探索的另一种方法(如果您还没有这样做的话)是将 EFS 卷挂载到 Fargate pod。虽然 EFS 可能具有与本地临时存储不同的性能特征,但 EFS 将允许您将相同的卷挂载到多个 pod(如果该架构受您的应用程序支持并且对您的应用程序有用)。
推荐阅读
- javascript - 为什么 setTimeout 用于 Javascript 中的计数器动画?
- python - Django Postgres ArrayField(models.IntegerField) 迁移错误
- android - Android:带有选项卡布局的导航组件
- r - 从 cv.glmnet 中提取拟合值、残差和汇总统计数据
- ios - 将 AppDelegate 类导航到另一个 ViewController
- python - 为什么自我避免步行的代码不起作用?
- java - 一个类和两个子类但不使用继承的设计模式
- java - 如何查看我在 netbeans 中使用的包的源代码?
- python - 如何在python中自动命名数据框
- apache-kafka - kafka-server-start.bat 未运行且未报告日志