我读了Parquet文件,它有一个12列的模式。我在一个长列上进行分组和求和聚合。然后加入另一个数据集。在join之后,我只从parquet数据集中获取一个列(sum-one)。
但是pig不断地给我error=>“error org.apache.pig.tools.grunt.grunt-error 2000:error processing rule columnmapkeyprune。try-t columnmapkeyprune“
PigParquet装载机不支持列修剪吗?如果我尝试禁用列修剪,则该工作正常。我正在尝试实现的伪代码。
REGISTER /<path>/parquet*.jar;
res1 = load '<path>' using parquet.pig.ParquetLoader() as (c1:chararray,c2:chararray,c3:int, c4:int, c5:chararray, c6:chararray, c7:chararray, c8:chararray, c9:chararray, c10:chararray, c11:chararray, c12:long);
res2 = group winrate by (c1,c2,c3,c4,c5,c6,c7,c8,c9,c10,c11);
res3 = foreach res2 generate flatten(group) as (c1,c2,c3,c4,c5,c6,c7,c8,c9,c10,c11),SUM(res1.c12) as counts;
暂无答案!
目前还没有任何答案,快来回答吧!