我的工作是按照以下格式将文件写入hdfs:
/table_name/yyyy/MM/dd/HH/mm/ss/file_name.avro
是否可以定义按年份和时间戳(hh:mm:ss)进行分区的配置单元外部表,而无需移动文件和重命名目录?
omhiaaxx1#
可以通过为每个yyyy/hh/mm/ss示例编写load data语句来实现这一点。
LOAD DATA INPATH '/table_name/yyyy/MM/dd/HH/mm/ss/file_name.avro' INTO TABLE tablename PARTITION (year=yyyy, hour=HH, minute=mm, second=ss)
1条答案
按热度按时间omhiaaxx1#
可以通过为每个yyyy/hh/mm/ss示例编写load data语句来实现这一点。