如何在Pig时代的时间？

xtupzzrd 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(413)

我对Pig是完全陌生的。我开始自学，试着了解Pig。有谁能建议我通过读取一个有单词的words.txt文件来获取当前使用pig的系统epoch时间。
我需要输出为

word1_1234567890 word2_1234567890 word3_1234567890

我们如何在pig脚本中调用shell脚本
因为我已经写了shell脚本。
任何帮助。
提前谢谢。
莫汉五世

1条答案

使用concat将单词与epochtime组合起来。可以使用tounixtime（）获取epochtime

A = LOAD 'words.txt' AS (word:chararray);
B = FOREACH A GENERATE CONCAT(CONCAT(A.word,'_'),(chararray)ToUnixTime(CurrentTime());
DUMP B;

假设您的shell脚本是names test.sh

%declare my_shell_script 'test.sh'
A = LOAD 'data.txt' AS (f1:int,f2:chararray);
B = FOREACH A GENERATE '$my_shell_script';

如果shell脚本有参数，请说param1

%declare my_shell_script 'test.sh $param1'
A = LOAD 'data.txt' AS (f1:int,f2:chararray);
B = FOREACH A GENERATE '$my_shell_script';