在hdfs中,分区数据存储为多个文件,如
hdfs://user/hive/warehouse/TABLE_NAME/column_1="VALUE"/column_2="VALUE"/000000
大查询是否支持按原样加载这些文件,或者是否需要将数据展平到单个文件中?文档中没有提到按原样加载文件。
wlwcrazw1#
bigquery中的多个文件可以加载到同一个目录下,所以不需要展平。下面是示例代码:
bq load --replace --quote "" -F"\t" ${db_name}.${tgt_table_name}\$${bq_partition} gs://bucket_name/folder/*
告诉我是否有用。
1条答案
按热度按时间wlwcrazw1#
bigquery中的多个文件可以加载到同一个目录下,所以不需要展平。下面是示例代码:
告诉我是否有用。