使用eclipse在远程集群上运行pg+java

tquggr8v  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(254)

我正试图在我的windows机器上使用eclipse在java中运行一个简单的pig代码。
下面是我要执行的代码

import java.io.IOException;
import java.util.Properties;
import org.apache.hadoop.conf.Configuration;
import org.apache.pig.ExecType;
import org.apache.pig.PigServer;

public class PigConnect{
           public static void main(String[] args) {
           try {

            PigServer pigServer = new PigServer("mapreduce");
            runIdQuery(pigServer, "hdfs://quickstart.cloudera:8020/user/cloudera/myFile.txt");

           }
           catch(Exception e) 
           {
               System.out.println(e.getMessage());
           }
        }
        public static void runIdQuery(PigServer pigServer, String inputFile) throws IOException {
           pigServer.registerQuery("A = load 'hdfs://quickstart.cloudera:8020/user/cloudera/myFile.txt' using PigStorage(':');");
           pigServer.registerQuery("B = foreach A generate $0 as id;");
           pigServer.store("B", "idout");
           System.out.println("Success");

           }
        }

我在eclipse的resource文件夹中添加了hdfs site.xml、yarn site.xml、core site.xml、mapred-site.xml。
运行代码时,我得到下面的错误。

Error during parsing. Unable to check name hdfs://quickstart.cloudera:8020/user/shashi

shashi是我的windows用户名,它在默认情况下使用该用户名。应该如何使用hdfs user更改它?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题