将pig“groupby”的结果存储到hdfs中

oknrviil  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(295)

我正在寻找一种方法,将pig中“groupby”命令的输出存储到一个文件中。

(D1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1),(A2,null,null,D1,E2)})
(C1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1)})

我试过store命令,但是数据并没有按照显示的方式被复制。

store F into '/tmp/group_out';

是否有其他方法可以将数据复制到文件中,方式与显示方式相同?

xsuvu9jc

xsuvu9jc1#

默认pigstorage函数(在使用store时调用)在某种程度上是可配置的:http://pig.apache.org/docs/r0.12.0/func.html#pigstorage -例如,可以设置字段和记录分隔符。
如果需要特殊格式来存储数据,则必须实现自定义存储自定义项。

相关问题