docker - docker 镜像可以使用 hadoop 吗？

Question

docker 镜像可以访问 hadoop 资源吗？例如。提交 YARN 作业并访问 HDFS；类似于MapR 的 Datasci。炼油厂，但适用于 Hortonworks HDP 3.1。（可能假设镜像将在 hadoop 集群节点上启动）。

看到了从 hadoop 节点启动 docker 应用程序的 hadoop文档，但对是否可以采用“其他方式”感兴趣（即能够使用常规docker -ti ...命令启动 docker 映像并让该应用程序能够运行 hadoop jar 等。 （假设 docker 镜像主机本身就是一个 hadoop 节点））。我知道 MapR hadoop 有用于执行此操作的 docker 图像，但我对使用 Hortonworks HDP 3.1 很感兴趣。最终尝试在 docker 容器中运行h2o hadoop。

任何人都知道这是否可能或可以确认这是不可能的？

标签： dockerhadooph2ohdp

Answer 1

是的。只要您有客户端 jars 和类似于容器边缘节点的适当配置，它就应该可以工作。