具体来说，我想更改运行在microsoftazure上的hdinsight集群中每个节点的最大Map器数和最大还原器数。
使用远程桌面，我登录到head节点。我编辑了head节点上的mapred-site.xml文件，并更改了mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum值。我尝试重新启动头节点，但无法重新启动。我使用start-onebox.cmd和stop-onebox.cmd脚本尝试启动/停止hdinsight。
然后，我运行了一个streaming mapreduce，将所需数量的reducer传递给hadoop-streaming.jar，但是reducer的数量仍然受到mapred.tasktracker.reduce.tasks.maximum的限制。我的大部分减速机都在等待执行。
是否需要更改每个节点上的mapred-site.xml文件？有没有一个简单的方法来改变这一点，或者我需要远程桌面到每个节点？如何重新启动或重新启动集群以便使用我的新值？
谢谢
1条答案
按热度按时间zzoitvuj1#
我知道这是一个问题已经有一段时间了，但我想为其他用户谁可能会发现有用的帖子。
有两种方法可以更改hdinsight上的hadoop配置文件（如mapred-site.xml、hive-site.xml等）
选项#1：这是最简单的—您可以为每个作业提供hadoop配置值，如本博客所示
选项2：您可以在配置或安装集群时使用hadoop配置值自定义hdinsight集群，如本博客所示
不支持手动修改配置文件，并且当azure vm重新映像时，更改将丢失。