java.lang.unsupportedoperationexception:未由distributedfilesystem实现实现

b1payxdu  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(477)

如果需要将hdfs声明为分布式的,我将使用单节点hadoop集群(2.6.2)。我添加了hdfs、core、common jar到项目构建路径,也需要jar到项目库。但是我现在得到了错误java.lang.unsupportedoperationexception:不是由我在应用程序上下文中配置的分布式文件系统实现实现的。

Configuration conf = new Configuration();

conf.addResource(new Path("/usr/local/hadoop-2.6.2/etc/hadoop/core-site.xml"));
        conf.addResource(new Path("/usr/local/hadoop-2.6.2/etc/hadoop/hdfs-site.xml"));
        conf.addResource(new Path("/usr/local/hadoop-2.6.2/etc/hadoop/mapred-site.xml"));

conf.set("fs.defaultFS", "hdfs://localhost:8088");
FileSystem fileSystem = FileSystem.get(conf);
hs1ihplo

hs1ihplo1#

您使用的依赖jar似乎有问题。
我正在使用hadoop2.7.1。
我试用了你的程序,在群集中得到了正确的结果。我得到了正确的输出 hdfs 作为计划。
课程:

package com.myorg.hadooptests;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

public class GetConfTest {
    public static void main(String[] args) throws Exception    {

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS", "hdfs://MBALLUR:8020");
        FileSystem fs = FileSystem.get(conf);
        System.out.println(fs.getScheme());
    }
}

maven依赖项:

<dependencies>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>1.2.1</version>
    </dependency>

</dependencies>

我的类路径设置为(我正在windows上运行此操作):
e:\hadooptests\target>echo%classpath%。;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\etc\hadoop\;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\common*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\common\lib*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\hdfs*;电子邮件:\hdp\hadoop-2.7.1.2.3.0。0-2557\share\hadoop\hdfs\lib*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\map reduce*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\mapreduce\lib*;e:\hdp\ha doop-2.7.1.2.3.0.0-2557\share\hadoop\tools*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\sh are\hadoop\tools\lib*;e:\hdp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\yarn*;电子邮件:\h dp\hadoop-2.7.1.2.3.0.0-2557\share\hadoop\yarn\lib*

相关问题