java—如何在hadoop作业类中设置Map任务数

dojqjjoe  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(260)

这个问题在这里已经有答案了

设置Map任务数和减少任务数(15个答案)
四年前关门了。
我有一个问题,通过java将Map器的数量设置为1。我正在使用作业和配置类。我知道我们可以设置减速器的数量 mapred.map.tasks 使用旧的不推荐使用的api。
是否有任何方法可以指定使用作业和配置类。我尝试使用 FileInputFormat.setMinInputSplitSize(FullFilesize) 但是,我想知道我们有没有与 mapred.map.tasks 在新的api中,或者如何通过其他方式指定

kzipqqlq

kzipqqlq1#

给定作业的Map任务数由输入拆分数驱动,而不是由mapred.map.tasks参数驱动
请参阅下面的堆栈溢出问题设置Map任务数和减少任务数

相关问题