如何配置pig通过webhdfs访问数据?

wlzqhblo  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(389)

我是hadoop的新手,所以如果这个问题是个错误,请原谅我。我正在尝试配置pig以使用webhdfs获取数据。我不知道怎么做我tried:-

Configuration configuration = new Configuration();
conf.set("fs.defaultFS","webhdfs://<uri>:50070");
properties.putAll(ConfigurationUtil.toProperties(conf));

然后我将这个属性对象(properties)传递给pig主文件中的properties对象。然而,这似乎不起作用。任何对hdfs的访问都只是超时而没有响应。有人能告诉我这是怎么做的吗?

vxf3dgd4

vxf3dgd41#

经过反复试验,我想我可能已经解决了这个问题。问题不在于传递的配置(顺便说一句,我可以在类路径上保留core-site.xml,并使用上面的fs.defaultfs属性)。问题是我试图运行的pig脚本文件有问题like:-

REGISTER 'hdfs://<uri>:9000/filename.jar'

当它应该是

REGISTER 'webhdfs://<uri>:50070/filename.jar'

不知道这是不是很明显,我浪费了你的时间。很抱歉。

相关问题