hadoop在pig中的文件存储实现

4ioopgfo 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(277)

有人知道如何在pig中使用输入/输出文件吗？我在 elephant-bird 中找到了对rcfile的某种支持，但似乎不支持orc格式。。。您能提供一个使用pig访问/存储pig中orc文件的示例吗？

2条答案

通过pig储存orc的支持尚未承诺，并且正在积极开发中。参考apache jira pig-3558。接下来，你就可以通过你的pig脚本访问orc文件了

load 'foo.orc' using OrcStorage();
...
store .. using OrcStorage('-c SNAPPY');

使用存储为orc的hcat cli定义hcatalog表，然后使用org.apache.hcatalog.pig.hcatloader（）或使用org.apache.hcatalog.pig.hcatstorer（）在pig中加载关系