pig脚本无法加载可空的Parquet数据

jucafojl  于 2021-06-25  发布在  Pig
关注(0)|答案(0)|浏览(172)

我正在尝试编写一个pig脚本,用于压缩具有Parquet格式数据的小文件。下面提到的行尝试将小文件加载到目录中,然后存储它们。这些文件具有复杂的嵌套结构,这些结构可以为null,并且它们包含许多 NULL s。

LOGS = LOAD '/dt=20150307/hr=2015030700/*' USING parquet.pig.ParquetLoader();
STORE LOGS INTO '/user/compaction_output' USING parquet.pig.ParquetStorer();

我得到以下错误:

2015-04-29 17:00:45,883 [main] ERROR org.apache.pig.tools.pigstats.SimplePigStats - ERROR 2118: Cannot build an empty group

我怀疑是因为输入文件中的空值。有人能帮忙吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题