在我的spark程序中，我可以通过清理 --num-executors 参数。现在我想将我的程序的可伸缩性与类似的mapreduce程序进行比较。但为此，我还需要限制它的节点数。我在没有任何管理权限的群集上运行这两个程序。那么，这有可能吗？
--num-executors
kh212irz1#
在mapreduce中，可以限制reducer的数量（在您的示例中，make reducer=需要的节点数），生成的Map器数量将基于inputformat。您可以根据inputformat仔细计算inputsize，inputsize应该是=预期的节点数。举个例子。
InputFormat = TextInputFormat. Input Text File size = 2 GB TextInputFormat split size( defaults to hdfs block size) = 128 MB
在本例中，您将看到16个Map器正在运行。如果您有16个节点，所有这些节点将在所有节点上并行运行。（请务必理解这是最佳情况，您可能仍会看到Map程序在同一节点上运行）请跟我来http://bytepadding.com/big-data/map-reduce/understanding-map-reduce-the-missing-guide/ 详细了解
1条答案
按热度按时间kh212irz1#
在mapreduce中，可以限制reducer的数量（在您的示例中，make reducer=需要的节点数），
生成的Map器数量将基于inputformat。
您可以根据inputformat仔细计算inputsize，inputsize应该是=预期的节点数。
举个例子。
在本例中，您将看到16个Map器正在运行。如果您有16个节点，所有这些节点将在所有节点上并行运行。
（请务必理解这是最佳情况，您可能仍会看到Map程序在同一节点上运行）
请跟我来http://bytepadding.com/big-data/map-reduce/understanding-map-reduce-the-missing-guide/ 详细了解