在新的hadoopapi中，Map器的数量不能显式设置，我想将splitsize更改为比默认值更小的数字，以便执行更多的Map器。如何在新的hadoopapi中做到这一点？我试过以下方法，但不起作用
conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024)
kzipqqlq1#
您必须根据您的要求更改以下参数。
mapreduce.input.fileinputformat.split.minsize
和
mapreduce.input.fileinputformat.split.maxsize
有关详细信息，请查看此链接。
vm0i2vca2#
它是 mapreduce.input.fileinputformat.split.minsize . 如果它不工作，请分享你的代码，我会看看它。
2条答案
按热度按时间kzipqqlq1#
您必须根据您的要求更改以下参数。
和
有关详细信息，请查看此链接。
vm0i2vca2#
它是
mapreduce.input.fileinputformat.split.minsize. 如果它不工作，请分享你的代码，我会看看它。