hive—avro中数据块的大小大于允许的最大值16777216

rqdpfwrv  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(260)

我正在尝试将avro数据加载到bigquery中。因此,我通过在配置单元中运行insert overwrite命令将orc数据转换为avro。当我尝试使用bq命令行工具在bigquery中加载数据时,我得到了以下结果error:-
“message”:“读取数据时出错,错误消息:位置397707处avro解析错误。数据块17378680的大小大于最大允许值16777216。”
有没有办法增加这个数据块的大小。我找不到任何与此相关的内容。
下面是我试图用来加载数据的命令。

bq load --source_format=AVRO dataset.table gs://********/gold/offers/hive/gold_hctc_ofr_txt/ingestion_time=20180305/000000_0
xnifntxz

xnifntxz1#

似乎你真的被这个文档中定义的bigquery的块大小限制搞砸了。您可以查看row和cell size limits部分,其中提到avro的块大小是16mb。

相关问题