我正在尝试将我的项目从Flink1.4升级到Flink1.9。在1.4版本中,我正在构建一个胖jar,里面包含了我所有的hadoop 2.9.2
依赖关系,然后我用来提交给k8s上的flink集群。我没有在集群上安装hadoop。
当我将项目升级到1.9并升级集群时,我无法在集群上运行代码,尽管它在我的intellijide上运行得很好。例外情况是:
java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)
...
因为我没有在flink中包含任何hadoop依赖项,所以我假设它仍然可以工作,因为所有依赖项都打包到fat jar中,因为它在1.4中工作得很好。
我已经尝试添加对shaded-hadoop2的依赖性,但这并不能解决问题
compile group: 'org.apache.flink', name: 'flink-shaded-hadoop2-uber', version: '2.4.1-1.8.2'
我猜为flink设置hadoop路径可能会解决这个问题,并且一直在努力理解我应该如何在dockerfile中做到这一点。我需要解压hadoop2二进制文件还是创建一些jar并将它们添加到 /flink/lib
?
我的dockerfile现在看起来像这样:
FROM openjdk:8-jre
MAINTAINER User "myemail@gmail.com"
LABEL version="v1.9.0"
ENV FLINK_HOME=/flink
ENV FLINK_CONF_DIR=/flink/conf
ENV FLINK_APPS_DIR=/flink/apps
ENV FLINK_LIB_DIR=/flink/lib
RUN mkdir -p ${FLINK_HOME}
RUN mkdir -p ${FLINK_CONF_DIR}
RUN mkdir -p ${FLINK_APPS_DIR}
RUN mkdir -p ${FLINK_LIB_DIR}
ENV PATH=$FLINK_HOME/bin:$PATH
ENV CLASSPATH=.:$FLINK_APPS_DIR:$FLINK_LIB_DIR
COPY dist/flink-1.9.0-bin-scala_2.11.tgz ${FLINK_HOME}/flink.tgz
WORKDIR ${FLINK_HOME}
COPY prepare-deployment.sh /
RUN chmod +x /prepare-deployment.sh
RUN /prepare-deployment.sh
RUN rm -rf /prepare-deployment.sh
COPY Tools/netstat /bin/netstat
COPY Tools/ttyd-static-amd64 /bin/ttyd
COPY Tools/jq /bin/jq
COPY Tools/checktm /bin/checktm
COPY Tools/checktm_log /bin/checktm_log
COPY docker-entrypoint.sh /
RUN chmod +x /docker-entrypoint.sh
RUN chmod -R 755 /bin
RUN chmod -R 777 /flink
RUN chmod -R 777 /etc
EXPOSE 6122 6123 6124 6125 6126 6127 8080 8081
ENTRYPOINT ["/docker-entrypoint.sh"]
CMD ["--help"]
1条答案
按热度按时间50few1ms1#
在flink源代码中,您将找到一个包含
build.sh
用于构建docker映像的脚本,以及Dockerfile
它们的设置是为了帮助您获得正确的这些细节,并根据您的需要参数化以包含hadoop库。