在hadoop mapreduce中，在map阶段设置Map数量时，需要设置mapred.min.split.size，但是在查看官方文档时，还有一个参数是“minsplitsize”。两者有什么区别？
p5fdfcr11#
首先，根据hadoop文档，“mapred.min.split.size”被弃用，取而代之的是“mapreduce.input.fileinputformat.split.minsize”。然而，“mapred.min.split.size”用于在xml配置文件中配置hadoop集群，而“minsplitsize”用于fileinputformat类的setminsplitsize方法，用于直接在作业配置程序中设置值，具体到单个作业。祝你好运
1条答案
按热度按时间p5fdfcr11#
首先，根据hadoop文档，“mapred.min.split.size”被弃用，取而代之的是“mapreduce.input.fileinputformat.split.minsize”。
然而，“mapred.min.split.size”用于在xml配置文件中配置hadoop集群，而“minsplitsize”用于fileinputformat类的setminsplitsize方法，用于直接在作业配置程序中设置值，具体到单个作业。
祝你好运