时间戳

首页 > 解决方案 > 如何在奇点构建中利用主机缓存？

caching - 如何在奇点构建中利用主机缓存？

问题描述

我正在寻找优化奇点 HPC 容器构建时间的方法。我知道我可以通过逐层构建它们来节省一些时间。但是，仍然有优化的空间。

我感兴趣的是在主机系统上使用/缓存任何有意义的东西。

  1. CCache 用于 C++ 构建工件缓存
  2. git repo 克隆
  3. APT 软件包下载

我做了一些实验，但没有成功。

到目前为止我发现了什么：

缓存

我在容器中安装 ccache 并指示构建系统使用它。我知道因为我singularity build使用 sudo 运行，所以缓存会在/root. 但是运行构建后，/root/.ccache是空的。我验证了生成的 CMake 构建文件，它们肯定使用 ccache。

我什至创建了一个包含%post

touch "$HOME/.ccache/test"

但是测试文件没有出现在主机系统的任何地方（不在/root我用户的家中也没有出现）。构建步骤是否将容器支持的目录挂载到/root而不是主机的根目录？

是否需要做更多的事情来利用 ccache？

吉特

人们建议运行例如 git-cache-http-server ( https://stackoverflow.com/a/43643622/1076564 ) 并使用git config --global url."http://gitcache:1234/".insteadOf https://.

由于奇异性可以读取主机文件系统的部分内容，我认为甚至有一种方法可以让它在没有代理程序的情况下工作。但是，如果主机 git repos 不在$HOMEor/tmp中，那么在构建过程中，singularity 如何访问它们？singularity build没有--bind标志来指定其他挂载目录。并且使用%files配方中的部分听起来效率低下 - 每次运行构建时都复制所有内容。

易于

人们建议使用例如 squid-deb-proxy ( https://gist.github.com/dergachev/8441335 )。同样，由于奇异性能够读取主机文件系统文件，我想只使用主机的/var/cache/apt. 但/var默认情况下不会挂载到容器中。所以再次出现同样的问题 - 我如何/var/cache/apt在容器构建期间挂载。总的来说这是个好主意吗？考虑到主机和容器都基于相同版本的 Ubuntu 和架构，它不会损坏主机的 APT 缓存吗？

还是奇点本身做了一些聪明的 APT 缓存？我刚刚注意到它在 25 秒内下载了 420 MB 的包，这在我的连接上是可能的，但考虑到 ubuntu 镜像的标准速度，这不太可能。

编辑：我在奇异回购上创建了一个问题：https ://github.com/hpcng/singularity/issues/5352 。

标签： cachingsingularity-containerccache

解决方案

据我所知，从定义文件构建时没有缓存奇点构建的机制。您可以缓存基础映像的下载，仅此而已。

有一个GitHub issue与此相关，其中 Singularity 的主要开发人员之一给出了以下回复：

您可以从磁盘上的现有容器构建 Singularity 容器。因此，您可以构建基础容器并保存它，然后修改 def 文件以从现有容器构建，以节省原型制作时间。

但是由于 Singularity 不创建层，因此实际上没有办法像 Docker 那样实现这一点。

关于您的问题的一点：

我知道我可以通过逐层构建它们来节省一些时间

Singularity 没有层的概念，所以这里不适用。Docker 使用层，并且这些层被缓存。

在构建 Singularity 映像时，我通常遵循的工作流程是首先从 Dockerfile 创建 Docker 映像，然后将其转换为 Singularity 映像。Docker 构建步骤具有缓存，因此这可能对您有用。

# Build Docker image
docker build --tag my_image:latest .
# Convert to Singularity format
sudo singularity build my_image.sif docker-daemon://my_image:latest

推荐阅读