时间戳

首页 > 解决方案 > Flink 1.9 No Filesystem for scheme：kubernetes 上的 hdfs

java - Flink 1.9 No Filesystem for scheme：kubernetes 上的 hdfs

问题描述

我正在尝试将我的项目从 Flink 1.4 升级到 Flink 1.9。在 1.4 上，我正在构建一个 fat jar，其中包含我所有的 hadoop2.9.2依赖项，然后我将其提交到 k8s 上的 Flink 集群。我没有在集群上设置 hadoop。

当我将项目升级到 1.9 并升级集群时，我无法在集群上运行代码，尽管它在我的 IntelliJ IDE 上运行得很好。例外是：

java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)
...

由于我没有在 flink 中包含任何 hadoop 依赖项，因此我假设它应该仍然可以工作，因为所有依赖项都打包到 fat jar 中，因为它在 1.4 上工作得很好。

我尝试将依赖添加到 shaded-hadoop2 这并不能解决问题

    compile group: 'org.apache.flink', name: 'flink-shaded-hadoop2-uber', version: '2.4.1-1.8.2'

我猜想为 flink 设置 hadoop 路径可能会修复它，并且一直在努力理解我应该如何在我的 Dockerfile 中做到这一点。我是否需要解压缩 hadoop 2 二进制文件或创建一些 jar 并将它们添加到/flink/lib？

我的 Dockerfile 目前看起来像这样：

FROM openjdk:8-jre
MAINTAINER User "myemail@gmail.com"
LABEL version="v1.9.0"

ENV FLINK_HOME=/flink
ENV FLINK_CONF_DIR=/flink/conf
ENV FLINK_APPS_DIR=/flink/apps
ENV FLINK_LIB_DIR=/flink/lib

RUN mkdir -p ${FLINK_HOME}
RUN mkdir -p ${FLINK_CONF_DIR}
RUN mkdir -p ${FLINK_APPS_DIR}
RUN mkdir -p ${FLINK_LIB_DIR}

ENV PATH=$FLINK_HOME/bin:$PATH
ENV CLASSPATH=.:$FLINK_APPS_DIR:$FLINK_LIB_DIR

COPY dist/flink-1.9.0-bin-scala_2.11.tgz ${FLINK_HOME}/flink.tgz
WORKDIR ${FLINK_HOME}

COPY prepare-deployment.sh /
RUN chmod +x /prepare-deployment.sh
RUN /prepare-deployment.sh
RUN rm -rf /prepare-deployment.sh


COPY Tools/netstat /bin/netstat
COPY Tools/ttyd-static-amd64 /bin/ttyd
COPY Tools/jq /bin/jq
COPY Tools/checktm /bin/checktm
COPY Tools/checktm_log /bin/checktm_log

COPY docker-entrypoint.sh /
RUN chmod +x /docker-entrypoint.sh
RUN chmod -R 755 /bin
RUN chmod -R 777 /flink
RUN chmod -R 777 /etc
EXPOSE 6122 6123 6124 6125 6126 6127 8080 8081
ENTRYPOINT ["/docker-entrypoint.sh"]
CMD ["--help"]

标签： javahadoopdockerfileapache-flinkhadoop2

解决方案

在 Flink 源代码中，您将找到一个flink-container目录，其中包含一个build.sh用于构建 Docker 映像的脚本，以及一个Dockerfile等。它们的设置旨在帮助您正确获取这些详细信息，并根据您的需要进行参数化以包含 hadoop 库。

推荐阅读