在使用pig进行etl时,我使用hcatstorer将处理过的数据放入配置单元:
STORE dataprocessed INTO 'database.table' USING org.apache.hcatalog.pig.HCatStorer();
我的目标是使目标表的数据可以从pig或hive中使用(取决于用户的技能)存储datetime的建议格式是什么?我关心:存储时区信息能够比较日期人类可读(例如,我不认为时间戳是人类可读的)谢谢你的帮助
ttisahbt1#
我可能会将日期/时间相关的信息存储为iso-8601格式的字符串/字符,因为hcatstorer不直接支持日期类型(至少在pig中是这样)。pig中有转换日期/时间信息的函数:http://pig.apache.org/docs/r0.13.0/func.html#datetime-功能
1条答案
按热度按时间ttisahbt1#
我可能会将日期/时间相关的信息存储为iso-8601格式的字符串/字符,因为hcatstorer不直接支持日期类型(至少在pig中是这样)。
pig中有转换日期/时间信息的函数:http://pig.apache.org/docs/r0.13.0/func.html#datetime-功能