我在hadoop的配置文件中为每个节点配置（Map器/还原器的数量）。我提交任何指定要使用的Map器/还原器的mr任务。当作业的（#个减速器）超过集群的容量时，预期会有什么性能损失？
afdcj2ne1#
设置为运行的Map程序的数量完全取决于文件大小块大小对于您的案例，没有直接的方法来估计性能损失。这取决于还原的类型，并且很大程度上取决于数据。例如：假设您的数据是这样的，其中一个还原运行的时间太长，那么其他还原程序将完成并开始第二个还原作业。因此，当一个大的降价发生时，可能会完成所有的降价。
1条答案
按热度按时间afdcj2ne1#
不能指定Map器的数目！
设置为运行的Map程序的数量完全取决于
文件大小
块大小
对于您的案例，没有直接的方法来估计性能损失。这取决于还原的类型，并且很大程度上取决于数据。
例如：假设您的数据是这样的，其中一个还原运行的时间太长，那么其他还原程序将完成并开始第二个还原作业。因此，当一个大的降价发生时，可能会完成所有的降价。