apache pig-使用udf创建唯一的输出文件夹

yfjy0ee7 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(352)

我正在使用来自hue的apachepig，使用脚本etl-op.pig对文件执行etl操作。使用以下行将输出存储到hdfs中的指定文件夹中：

STORE outval INTO '/user/root/Pig-Output

但是，下次运行脚本时，它会说输出文件夹已经存在，并且不会创建单独的文件夹。
有没有办法使用hue在pig中创建一个javaudf，这样就可以生成一个惟一的标识符，并将其附加到脚本中的“pig output”文件夹名中？

1条答案

不使用自定义项也可以：定义一个类似于当前unix时间戳的变量：

%default TS `date  +%s`

然后将其用作文件夹的后缀：

STORE outval INTO '/user/root/Pig-Output_$TS' ...