时间戳

首页 > 解决方案 > Docker-Compose 卷不递归挂载

docker - Docker-Compose 卷不递归挂载

问题描述

我有一个包含以下卷映射的 docker compose 文件。

volumes:
    - /opt/cloudera/parcels/SPARK2/lib/spark2:/opt/cloudera/parcels/SPARK2/lib/spark2

这个目录的内容是：

rwxr-xr-x 13 root root   247 Nov 30 16:39 .
drwxr-xr-x  3 root root    20 Jan  9  2018 ..
drwxr-xr-x  2 root root  4096 Jan  9  2018 bin
drwxr-xr-x  2 root root    39 Jan  9  2018 cloudera
lrwxrwxrwx  1 root root    16 Jan  9  2018 conf -> /etc/spark2/conf ***
drwxr-xr-x  5 root root    50 Jan  9  2018 data
drwxr-xr-x  4 root root    29 Jan  9  2018 examples
drwxr-xr-x  2 root root  8192 May 22  2018 jars
drwxr-xr-x  2 root root   204 Jan  9  2018 kafka-0.10
drwxr-xr-x  2 root root   201 Jan  9  2018 kafka-0.9
-rw-r--r--  1 root root 17881 Jan  9  2018 LICENSE
drwxr-xr-x  2 root root  4096 Jan  9  2018 licenses
-rw-r--r--  1 root root 24645 Jan  9  2018 NOTICE
drwxr-xr-x  6 root root   204 Jan  9  2018 python
-rw-r--r--  1 root root  3809 Jan  9  2018 README.md
-rw-r--r--  1 root root   313 Jan  9  2018 RELEASE
drwxr-xr-x  2 root root  4096 Jan  9  2018 sbin
lrwxrwxrwx  1 root root    20 Jan  9  2018 work -> /var/run/spark2/work
drwxr-xr-x  2 root root    52 Jan  9  2018 yarn

值得注意的是加星标的conf目录，它本身是一系列符号链接，最终指向/etc/spark2/conf.cloudera.spark2_on_yarn包含以下内容的文件夹：

drwxr-xr-x 3 root  root    194 Nov 30 16:39 .
drwxr-xr-x 3 root  root     54 Nov 12 14:45 ..
-rw-r--r-- 1 root  root  13105 Sep 16 03:07 classpath.txt
-rw-r--r-- 1 root  root     20 Sep 16 03:07 __cloudera_generation__
-rw-r--r-- 1 root  root    148 Sep 16 03:07 __cloudera_metadata__
-rw-r--r-- 1 ember 10000  2060 Nov 30 16:33 envars.test
-rw-r--r-- 1 root  root    951 Sep 16 03:07 log4j.properties
-rw-r--r-- 1 root  root   1837 Sep 16 03:07 spark-defaults.conf
-rw-r--r-- 1 root  root   2331 Sep 16 03:07 spark-env.sh
drwxr-xr-x 2 root  root    242 Sep 16 03:07 yarn-conf

映射spark2目录时，只显示yarn-conf子文件夹，没有spark-env.sh文件和其他文件。

是导致这些文件不存在的一系列符号链接吗？如果是这样，我是否需要为每个文件夹显式设置映射才能显示所有必要的依赖项？我的印象是 docker-compose 卷会递归地挂载特定目录下的所有文件/文件夹。

标签： dockerdocker-composesymlink

解决方案

绑定挂载应该忠实地再现主机的内容：conf容器内部应该是指向/etc/spark2/conf. 容器在该路径上可能有也可能没有任何东西，但 Docker 不会递归搜索绑定挂载的树并尝试使用符号链接做任何特殊的事情。

您是否尝试docker run -v在容器中“安装”Spark 发行版？你最好用你想要的软件构建一个独立的 Docker 镜像，然后使用绑定挂载来只注入配置文件。这可能看起来像

docker run \
  -v /etc/spark2/conf:/spark/conf \
  -v $PWD/spark:/spark/work \
  mysparkimage

推荐阅读