我正在看doug eadline hadoop和spark fundamentals。我是hadoop和pig的新手，所以我很难理解这一行
grunt> A = load 'passwd' using PigStorage(':'):变量“passwd”指什么？我的hdp hortonworks密码还是别的什么？如果我去
grunt> DUMP A;终端输出
2019-07-13 19:51:07,300 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2118: Input path does not exist: hdfs://sandbox-hdp.hortonworks.com:8020/user/root/passwd
Details at logfile: /root/pig_1563047441325.log
1条答案
按热度按时间o4hqfura1#
如果它试图加载
hdfs://sandbox-hdp.hortonworks.com:8020/user/root/passwd，则计算为fs.defaultFS（来自的属性）core-site.xml) +/user/+$(whoami)（在你的情况下，你开始作为Pigroot用户），然后是任何文件名。你也可以和我一样
A = load '/user/root/passwd'或者load 'hdfs:///user/root/passwd'也许他们抄袭了/etc/passwd先进入hdfs？或者是从/etc目录并开始使用pig -x local，它在本地启动pig，不需要hadoop集群。