我试图通过oozie执行包含自定义项的pig脚本,并将结果存储到postgress表中。使用oozie时,脚本会成功执行,但不会在postgress中生成所需的数据。日志会显示此警告
2015-08-18 12:05:44709[main]warn org.apache.pig.tools.pigstats.jobstats-找不到输出文件java.io.filenotfoundexception:文件hdfs://:8020/user/oozie/word\u cnt不存在。
试错后发现,如果在每个“store”后面加上dump语句,数据就可以成功地存储在postgress中。
1条答案
按热度按时间ut6juiuv1#
如果我没有错的话,workflow.xml似乎缺少一些值{jobtracker}{namenode}。
sampleworkflow.xml如下
你们都可以直接提到
{jobtracker}=“作业跟踪器\u ip:端口”
{namenode}='hdfs://namenode_ip:端口“