scala在带有sbt程序集的fatjar上的“class org.apache.hadoop.fs.s3a.s3afilesystem not found”

hivapdat 于 2021-06-24 发布在 Flink

关注(0)|答案(1)|浏览(584)

我正在scala中构建一个在flink集群上运行的作业，该集群将数据存储在AWSS3中，并且我遇到了一些与依赖性相关的问题。
我已经检查了前面提出的大部分问题，为了解决这个问题，我需要添加 flink-s3-fs-hadoop-1.9.1.jar jar文件到 $FLINK_HOME/plugins 为了成功运行我的作业：
我的问题是，这是否应该被检测到是在fatjar中生成的 sbt assembly ? 文件在jar中，但是由于某些原因flink集群无法看到它们。
我知道文件上说 flink-s3-fs-hadoop-1.9.1.jar 应该下载到 $FLINK_HOME/plugins 文件夹。

scala sbt apache-flink

来源：https://stackoverflow.com/questions/59305355/class-org-apache-hadoop-fs-s3a-s3afilesystem-not-found-on-fatjar-with-sbt-asse