在pig中加载文件并用分隔符将其转换为一行

0md85ypi  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(308)

我需要你的帮助,请输出我的文件加载在Pig,其中包含如下数据:

AAAA,message1
BBBB,message2
CCCC,message3
DDDD,message4

我需要做的是得到这样的输出

AAAA,message1,BBBB,message2,CCCC,message3,DDDD,message4

这个输出我将在以后的其他清管器自定义项中使用。。
谢谢你的帮助

u3r8eeie

u3r8eeie1#

输入:

AAAA,message1
BBBB,message2
CCCC,message3
DDDD,message4

Pig脚本:

A = LOAD 'input.csv'  USING  PigStorage(',') AS (key:chararray,value:chararray);
B = GROUP A ALL;
C = FOREACH B {
    D = ORDER A BY key;
    GENERATE BagToString(D,',');
    }; 
DUMP C;

输出:

(AAAA,message1,BBBB,message2,CCCC,message3,DDDD,message4)

相关问题