时间戳

首页 > 解决方案 > 如何在一个 Kubernetes 的 pod 中实现后处理容器

kubernetes - 如何在一个 Kubernetes 的 pod 中实现后处理容器

问题描述

我有一个 golang 服务器，用于将 AI 模型训练部署到 kubernetes 中，每次训练都会在 pod 上运行它们的工作。作业完成后，我的服务器需要将模型输出上传到 HDFS/S3。

所以我需要一个后容器来处理上传任务，比如 init-container 在 k8s pod 上执行 init 任务。

现在，我使用一种棘手的方法将模型作业容器添加到 init-containers 并在容器中运行上传任务容器。如果在 init-containers 中没有抛出错误，则此方法有效。但是，如果 init-conttainer 中有错误，则 pod 状态Init:ContainerCannotRun应该是Failed正常的。

我知道preStop如果图像容器是 upload-hdfs/s3 命令工具，我可以将命令附加到容器生命周期事件。但是我不想让模型训练图像包含这些命令。所以这不是我的答案。

所以我的问题是如何实现一个后处理容器，以便我可以在作业完成后运行上传任务？

我也在github中找到了一个相关的问题，如果没有其他选择，我会尝试一下。

标签： kubernetescontainers

解决方案

Kubernetes 有两种方法来处理它——preStop hook和监听SIGTERM信号的代码。

此外，您可以增加终止宽限期，以便在终止 pod 之前有更多时间。

您可以在将处理程序附加到容器生命周期事件和Kubernetes 最佳实践中找到更多信息：优雅终止。

推荐阅读