我用的是ApachePig。我试图加载一个逗号分隔的文件作为pig表。加载文件时不会抛出任何错误。但当我尝试使用“dump”命令打印该表时，它会给出错误。
我加载的文件
Error,fdgdf
Error,dfgdf
Error,dfgdf
Info,dfgdf
Info,dfgdf
Info,dfgdf
Info,dfgdf
Info,dfgdf
Info,dfgdf
Debug,dfgdf
Debug,dfgdf
Debug,dfgdf
Debug,dfgdf
Debug,dfgdf
Debug,dfgdf要加载的命令
logFile1 = LOAD 'PigTestFile' using PigStorage();打印表格的命令
dump logFile1我得到的错误
led Jobs:
JobId Alias Feature Message Outputs
job_1454617624671_0152 logFile1 MAP_ONLY Message: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: hdfs:
//ip-172-31-53-48.ec2.internal:8020/user/e1681fe26eed362777aabca1682510/PigTestFile
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:279)
at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
at org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:335)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.pig.backend.hadoop23.PigJobControl.submit(PigJobControl.java:128)
at org.apache.pig.backend.hadoop23.PigJobControl.run(PigJobControl.java:194)
at java.lang.Thread.run(Thread.java:745)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:276)
Caused by: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://ip-172-31-53-48.ec2.internal:8020/user/e1681fe26eed362777aabca1682510/PigTestFile
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigTextInputFormat.listStatus(PigTextInputFormat.java:36)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:265)
... 18 more
hdfs://ip-172-31-53-48.ec2.internal:8020/tmp/temp1258481141/tmp-1928081547,
:
:
2016-02-07 06:31:20,100 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!
2016-02-07 06:31:20,107 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias logFile1. Backend error : java.lang.IllegalStateException: Job in state DEFINE instead of RUNNING[编辑]当我仔细阅读日志时，发现它找不到用于加载表的文件。它希望它在hdfs中。我的文件在本地信箱里。然后我将文件移到hdfs中，然后运行相同的命令。效果不错。
但是为什么它在执行“load”命令时没有出错呢？？
2条答案
按热度按时间brjng4g31#
只有在遇到存储/转储时才会触发脚本的Map/减少作业。
在这种情况下，只有在脚本中遇到存储/转储时，load命令的Map阶段才会启动。
默认的执行模式是map reduce。如果文件位于本地路径，则必须使用本地模式执行。
参考：https://pig.apache.org/docs/r0.9.1/start.html#execution-模式
从以上链接摘录：
pig有两种执行模式或执行类型：
本地模式-要在本地模式下运行清管器，您需要访问一台机器；所有文件都是使用本地主机和文件系统安装和运行的。使用-x标志指定本地模式（pig-x local）。mapreduce模式-要在mapreduce模式下运行pig，您需要访问hadoop集群和hdfs安装。mapreduce模式为默认模式；可以使用-x标志（pig或pig-xmapreduce）指定它，但不需要这样做。
8yparm6h2#
正如murali在他的回答（我已经接受）中所解释的，脚本的map/reduce作业只有在遇到store/dump时才会触发。
下面是apache pig文档中关于它的更多解释
一般而言，pig处理pig拉丁语语句如下：
首先，pig验证所有语句的语法和语义。接下来，如果pig遇到转储或存储，pig将执行语句。在本例中，pig将验证但不执行load和foreach语句。
在本例中，pig将验证并执行load、foreach和dump语句。