我的pig脚本本身可以正常工作,直到我将其放入oozie工作流中,在那里我收到以下错误:
ERROR 2043: Unexpected error during execution.
org.apache.pig.backend.executionengine.ExecException: ERROR 2043: Unexpected error during execution.
...
Caused by: java.io.IOException: No FileSystem for scheme: hbase
我成功注册了hbase和zookeeper jar,但收到了相同的错误。
我还尝试通过在pig脚本中添加这些行的变体来设置zookeeper仲裁:
SET hbase.zookeeper.quorum 'vm-myhost-001,vm-myhost-002,vm-myhost-003'
internet上的一些搜索指示我将此添加到workflow.xml的开头:
SET mapreduce.fileoutputcommitter.marksuccessfuljobs false
这就解决了问题。我甚至可以删除hbase和zookeeper jar的注册以及zookeeper quorum。
现在经过反复检查,我注意到我的工作实际上完成了它们的工作:它们按预期将结果存储在hbase中。但是,oozie声称失败发生了,而事实并非如此。
我不认为 mapreduce.fileoutputcommitter.marksuccessfuljobs
至 false
构成解决方案。
还有其他解决办法吗?
1条答案
按热度按时间h6my8fg21#
似乎目前还没有真正的解决办法。
但是,对另一个问题的回答似乎表明,最好的解决方法是“手动”创建成功标志。