bigquery支持加载hdfs样式的分区数据吗？

anauzrmj 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(354)

在hdfs中，分区数据存储为多个文件，如

hdfs://user/hive/warehouse/TABLE_NAME/column_1="VALUE"/column_2="VALUE"/000000

大查询是否支持按原样加载这些文件，或者是否需要将数据展平到单个文件中？文档中没有提到按原样加载文件。

1条答案

bigquery中的多个文件可以加载到同一个目录下，所以不需要展平。下面是示例代码：

bq load --replace --quote "" -F"\t"  ${db_name}.${tgt_table_name}\$${bq_partition} gs://bucket_name/folder/*

告诉我是否有用。