我正在尝试编写一个pig脚本,用于压缩具有Parquet格式数据的小文件。下面提到的行尝试将小文件加载到目录中,然后存储它们。这些文件具有复杂的嵌套结构,这些结构可以为null,并且它们包含许多 NULL
s。
LOGS = LOAD '/dt=20150307/hr=2015030700/*' USING parquet.pig.ParquetLoader();
STORE LOGS INTO '/user/compaction_output' USING parquet.pig.ParquetStorer();
我得到以下错误:
2015-04-29 17:00:45,883 [main] ERROR org.apache.pig.tools.pigstats.SimplePigStats - ERROR 2118: Cannot build an empty group
我怀疑是因为输入文件中的空值。有人能帮忙吗?
暂无答案!
目前还没有任何答案,快来回答吧!