我对hadoop相对缺乏经验，但我在过去一年左右一直在使用样板代码，通过hdinsight.net sdk编写和提交c#mapreduce控制台应用程序。
这些工作似乎经常与许多Map绘制者，但只有一个减速机运行。
我的减速机做了大量的繁重工作，所以只有一个减速机似乎是一个瓶颈。通常我可以rdp到集群中，看着作业像液态黄金一样运行，然后研磨成。。。减速器启动时的缓慢动作）。
如何控制应用于减速器的资源量？我能把更多的资源引向还原器而不是Map器吗？
集群是以编程的方式旋转起来的（如这里所示）-我可以看到我可以控制配置文件中的各种参数：我在正确的轨道上吗？有什么建议吗？
谢谢！
1条答案
按热度按时间jbose2ul1#
通过使用“mapred.reduce.tasks”配置，可以显式设置作业要使用的缩减器的数量。您看到的是默认值。
使用hdinsight.netsdk，可以使用mapreducejobcreateparameters的“defines”属性在作业级别进行设置
这篇博文有一个关于如何为作业定义其他配置的示例