accumulo pig error-accumuloinputformat的连接器信息只能在每个作业中设置一次

r6l8ljro  于 2021-06-21  发布在  Pig
关注(0)|答案(1)|浏览(342)

版本:
accumulo 1.5型
清管器0.10
尝试:
使用accumulo pig从pig向accumulo中读/写数据。
遇到一个错误-任何洞察过去这个错误是非常感谢。
切换到accumulo 1.4不是一个选项,因为我们在c代码库中使用accumulo thrift代理。
影响:
这是目前我们项目中的一个障碍。
源引用:
源代码-https://git-wip-us.apache.org/repos/asf/accumulo-pig.git
错误:
在尝试从pig读取accumulo中的数据集时,我得到以下错误-
org.apache.pig.backend.executionengine.executeption:错误2118:AccumuOinInputFormat的连接器信息只能在每个作业中设置一次
代码段:

DATA = LOAD 'accumulo://departments?instance=indra&user=root&password=xxxxxxx&zookeepers=cdh-dn01:2181' using org.apache.accumulo.pig.AccumuloStorage() AS (row, cf, cq, cv, ts, val);
dump DATA;
5anewei6

5anewei61#

尝试使用同一存储库中的accumulo-1783-1.5分支。pig设置inputformat的方式与accumulo设置inputformat的方式不太一样(值得注意的是,accumulo做出了一个有趣的Assert:对于一个配置,您永远不会调用同一个静态方法多于一个)。
我一直在使用pig0.12——我怀疑0.10设置输入格式的方式与0.12有什么不同,但我并不肯定。
我刚刚对上面的分支做了一个修复,消除了前面提到的hadoop版本的限制。

相关问题