apache-flink - 每次提交作业超过休息后，作业管理器中的 flink 磁盘使用量都会增加

Question

我已经在 AWS ECS 中部署了自己的 flink 设置。一项服务用于 JobManager，一项服务用于任务管理器。我正在为作业管理器运行一项 ECS 任务，为 TASK 管理器运行 3 个 ecs 任务。

我有一种批处理作业，我每天使用 flink rest 上传并更改新参数，当我每次提交磁盘内存增加约 600MB 时，我将检查点设置为 S3 。我还设置了historyserver.archive.clean-expired-jobs true 。

由于我在 ECS 上运行，因此无法找到每次 jar 上传和执行时内存增加的原因。

我应该查看哪些 flink 配置参数以确保每次上传新作业时内存都不会增加？

标签： apache-flinkflink-batch

Answer 1

试试这个配置。blob.service.cleanup.interval：

https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#blob-service-cleanup-interval

historyserver.archive.retained-jobs： https ://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#historyserver-archive-retained-jobs