从非零路径进行零拆分

vd8tlhqk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(261)

我正在运行mapreduce作业(voldemortbuildandpush,但这可能无关紧要),从非零输入路径得到了0个输入分割。我的知识来自日志的以下部分:
16/09/08 11:16:19 info mapred.fileinputformat:要处理的总输入路径:1099
16/09/08 11:16:19 info mapreduce.jobsubmitter:数量splits:0
我的文件不是空的。我想知道是什么原因造成这种行为。。。

fnx2tebb

fnx2tebb1#

avroinputformat出现问题:


* By default, when pointed at a directory, this will silently skip over any
* files in it that do not have .avro extension. To instead include all files,
* set the avro.mapred.ignore.inputs.without.extension property to false.

相关问题