我是hadoop的新手,所以如果这个问题是个错误,请原谅我。我正在尝试配置pig以使用webhdfs获取数据。我不知道怎么做我tried:-
Configuration configuration = new Configuration();
conf.set("fs.defaultFS","webhdfs://<uri>:50070");
properties.putAll(ConfigurationUtil.toProperties(conf));
然后我将这个属性对象(properties)传递给pig主文件中的properties对象。然而,这似乎不起作用。任何对hdfs的访问都只是超时而没有响应。有人能告诉我这是怎么做的吗?
1条答案
按热度按时间vxf3dgd41#
经过反复试验,我想我可能已经解决了这个问题。问题不在于传递的配置(顺便说一句,我可以在类路径上保留core-site.xml,并使用上面的fs.defaultfs属性)。问题是我试图运行的pig脚本文件有问题like:-
当它应该是
不知道这是不是很明显,我浪费了你的时间。很抱歉。