比较pig中的datetime

z0qdvdin  于 2021-06-24  发布在  Pig
关注(0)|答案(1)|浏览(322)

在pig11中,是否支持比较datetime类型?例如:date1:datetime
过滤器有条件:date1>=todate('1999-01-01')
这个比较结果正确吗?

e3bfsja2

e3bfsja21#

日期比较可视为数值比较。例如:

cat date1.txt
1999-01-01
2011-03-19
2011-02-24
2011-02-25
2011-05-23
1978-12-13

A = load 'date1.txt' as (in:chararray);
B = foreach A generate ToDate(in, 'yyyy-MM-dd') as (dt:datetime);
--filter dates that are equal or greater than 2011-02-25: 
C = filter B by DaysBetween(dt, 
      (datetime)ToDate('2011-02-25', 'yyyy-MM-dd')) >=(long)0;

dump C;
(2011-03-19T00:00:00.000+01:00)
(2011-02-25T00:00:00.000+01:00)
(2011-05-23T00:00:00.000+02:00)

传递给todate的自定义格式模式遵循java的simpledateformat约定。
注意大写和小写字母,例如d表示年中的日,而d表示月中的日。这可能导致从chararray到datetime的日期转换不当。
或者,如果您的字符日期是iso格式的,您也可以使用piggybank的udf。

相关问题