bigquery支持加载hdfs样式的分区数据吗?

anauzrmj  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(361)

在hdfs中,分区数据存储为多个文件,如

hdfs://user/hive/warehouse/TABLE_NAME/column_1="VALUE"/column_2="VALUE"/000000

大查询是否支持按原样加载这些文件,或者是否需要将数据展平到单个文件中?文档中没有提到按原样加载文件。

wlwcrazw

wlwcrazw1#

bigquery中的多个文件可以加载到同一个目录下,所以不需要展平。下面是示例代码:

bq load --replace --quote "" -F"\t"  ${db_name}.${tgt_table_name}\$${bq_partition} gs://bucket_name/folder/*

告诉我是否有用。

相关问题