pig、oozie和hbase-java.io.ioexception:scheme:hbase没有文件系统

aij0ehis  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(356)

我的pig脚本本身可以正常工作,直到我将其放入oozie工作流中,在那里我收到以下错误:

ERROR 2043: Unexpected error during execution.

org.apache.pig.backend.executionengine.ExecException: ERROR 2043: Unexpected error during execution.
...
Caused by: java.io.IOException: No FileSystem for scheme: hbase

我成功注册了hbase和zookeeper jar,但收到了相同的错误。
我还尝试通过在pig脚本中添加这些行的变体来设置zookeeper仲裁:

SET hbase.zookeeper.quorum 'vm-myhost-001,vm-myhost-002,vm-myhost-003'

internet上的一些搜索指示我将此添加到workflow.xml的开头:

SET mapreduce.fileoutputcommitter.marksuccessfuljobs false

这就解决了问题。我甚至可以删除hbase和zookeeper jar的注册以及zookeeper quorum。
现在经过反复检查,我注意到我的工作实际上完成了它们的工作:它们按预期将结果存储在hbase中。但是,oozie声称失败发生了,而事实并非如此。
我不认为 mapreduce.fileoutputcommitter.marksuccessfuljobsfalse 构成解决方案。
还有其他解决办法吗?

h6my8fg2

h6my8fg21#

似乎目前还没有真正的解决办法。
但是,对另一个问题的回答似乎表明,最好的解决方法是“手动”创建成功标志。

相关问题