我目前正在当前的环境中运行ApacheFlink1.2.0,并使用bucketingsink将数据写入hadoop文件系统。我能够使用 file:///
以及 hdfs:///
文件系统协议没有任何问题。在hortonworks沙盒中测试。但当我开始用 maprfs:///
mapr沙盒中的协议,它说
No FileSystem for scheme: maprfs
Caused by: java.io.IOException: No FileSystem for scheme: maprfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
我需要了解什么配置,我需要添加到我的flink应用程序,以允许我写maprfs。在我的mapr集群中,core-site.xml和hdfs-site.xml是空的,因此,我没有复制到我的 $FLINK_CONF_DIR
.
2条答案
按热度按时间ekqde3dh1#
现在有一个关于如何为mapr设置flink的文档页面
14ifxucb2#
你需要Map
hadoop.jar
首先在你的类路径。它通常坐在某个地方/opt/mapr/...