apache flink写入mapr文件系统

k75qkfdt  于 2021-06-25  发布在  Flink
关注(0)|答案(2)|浏览(599)

我目前正在当前的环境中运行ApacheFlink1.2.0,并使用bucketingsink将数据写入hadoop文件系统。我能够使用 file:/// 以及 hdfs:/// 文件系统协议没有任何问题。在hortonworks沙盒中测试。但当我开始用 maprfs:/// mapr沙盒中的协议,它说

No FileSystem for scheme: maprfs
  Caused by: java.io.IOException: No FileSystem for scheme: maprfs
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)

我需要了解什么配置,我需要添加到我的flink应用程序,以允许我写maprfs。在我的mapr集群中,core-site.xml和hdfs-site.xml是空的,因此,我没有复制到我的 $FLINK_CONF_DIR .

ekqde3dh

ekqde3dh1#

现在有一个关于如何为mapr设置flink的文档页面

14ifxucb

14ifxucb2#

你需要Map hadoop.jar 首先在你的类路径。它通常坐在某个地方 /opt/mapr/...

相关问题