scheme:webhdfs没有文件系统

ldfqzlk8  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(411)

我正在构建一个客户端,它将一些数据推送到我的hdfs中。因为hdfs在防火墙后面的集群中,所以我使用httpfs作为代理来访问它。客户机退出时 IOException 当我尝试读/写hdfs时。信息是 No FileSystem for scheme: webhdfs . 代码非常简单

String hdfsURI = "webhdfs://myhttpfshost:14000/";
Configuration configuration = new Configuration();
FileSystem hdfs = FileSystem.get(new URI(hdfsURI), configuration);

它在最后一行崩溃了。我正在使用maven 3.0.4构建,并将hadoop客户机依赖项2.2.0添加到我的项目中。通过访问 curl 在命令行上工作正常。
你知道为什么会失败吗?

e4eetjau

e4eetjau1#

与此问题类似,因此在执行任何fs活动之前,我必须添加以下代码:

configuration.set("fs.webhdfs.impl", org.apache.hadoop.hdfs.web.WebHdfsFileSystem.class.getName());

我不知道为什么,但是maven的构建过程似乎有问题。。。就目前而言,这是可行的。

相关问题