我正在寻找一种方法,将pig中“groupby”命令的输出存储到一个文件中。
(D1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1),(A2,null,null,D1,E2)})
(C1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1)})
我试过store命令,但是数据并没有按照显示的方式被复制。
store F into '/tmp/group_out';
是否有其他方法可以将数据复制到文件中,方式与显示方式相同?
我正在寻找一种方法,将pig中“groupby”命令的输出存储到一个文件中。
(D1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1),(A2,null,null,D1,E2)})
(C1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1)})
我试过store命令,但是数据并没有按照显示的方式被复制。
store F into '/tmp/group_out';
是否有其他方法可以将数据复制到文件中,方式与显示方式相同?
1条答案
按热度按时间xsuvu9jc1#
默认pigstorage函数(在使用store时调用)在某种程度上是可配置的:http://pig.apache.org/docs/r0.12.0/func.html#pigstorage -例如,可以设置字段和记录分隔符。
如果需要特殊格式来存储数据,则必须实现自定义存储自定义项。