确定并加载目录中的最新数据集

nhjlsmyf  于 2021-06-21  发布在  Pig
关注(0)|答案(0)|浏览(162)

我有一个带有几个时间戳的目录的hdfs位置,我需要我的pig脚本来获取最新的一个。例如

/projects/ABC/dailydata/20170110/
/projects/ABC/dailydata/20170115/
/projects/ABC/dailydata/20170203/ #<---- pig should pick this one

我已经尝试过的是,并得到了工作如下,但不知道是否有一个更干净的方法来获得最新的时间戳

sh hdfs dfs -ls /projects/ABC/dailydata/ | tail -1

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题