我正在使用hadooplzo来处理大型压缩数据上的mr。实际上,我的作业是由一个工具自动生成的,但这不是问题所在。我的lzo压缩可以在所有节点上工作(尝试使用distributedlzoindexer),我还可以使用以下命令行在拆分的lzo文件上使用流:
hadoop jar /path/to/jar/hadoop-streaming-1.2.0.1.3.0.0-107.jar \
-input /path/to/testfile.lzo -output wc_test
-inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat \
-mapper 'cat' -reducer 'wc -l'
它创建了11个Map(根据我的文件大小我猜),并正常处理它。但是当我尝试任何其他jar文件时,lzo文件只使用一个Map进行处理。所以我的问题是
通常hadoop会根据压缩编解码器使用输入格式?我的hadoop-lzo-0.4.3.jar在路径中,所以我真的不明白为什么它仍然使用默认的文本格式。
有没有办法强迫hadoop使用lzotextinputformat?
谢谢你的阅读。
暂无答案!
目前还没有任何答案,快来回答吧!