我在本地创建了我的文件,通过 hdfs dfs -copyFromLocal 命令。我可以通过h查看指定文件夹中的文件 dfs dfs -ls ,但是当我运行脚本时 pig -x local ,找不到输入文件夹。 "ERROR 2118: Input Pattern file:/user/cloudera/pigin/testfile* 匹配0个文件”。我正在mac os x上运行。
hdfs dfs -copyFromLocal
dfs dfs -ls
pig -x local
"ERROR 2118: Input Pattern file:/user/cloudera/pigin/testfile*
dphi5xsq1#
看起来你正在本地模式下运行你的pig,你的文件在hdfs中。试试pig-x mapred ot pig
jjjwad0x2#
当您在本地执行模式下运行脚本时,您的文件将在hdfs中复制。在这种情况下,它将在本地文件系统中查找文件。要访问hdfs文件,执行模式应该是map reduce。因此,请按以下方式运行pigscript:
/* mapreduce mode */ $ pig <pigscript.pig> or $ pig -x mapreduce <pigscript.pig>
2条答案
按热度按时间dphi5xsq1#
看起来你正在本地模式下运行你的pig,你的文件在hdfs中。试试pig-x mapred ot pig
jjjwad0x2#
当您在本地执行模式下运行脚本时,您的文件将在hdfs中复制。在这种情况下,它将在本地文件系统中查找文件。
要访问hdfs文件,执行模式应该是map reduce。因此,请按以下方式运行pigscript: