我想知道Map器和还原器的数量是否会根据您选择的ec2服务器的示例类型而有所不同？我发现大型示例使用3个Map器和1个还原器。其他所有类型（例如，xlarge示例）的情况都一样吗？我知道我可以通过引导覆盖它，但只是想知道。
ntjbwcob1#
不，不是每个示例类型都一样。amazon有一个hadoop默认配置的概念，由ami版本控制，最新的版本是ami-2.3。这些配置定义了许多hadoop配置的默认值，例如对于m1.xlarge，以下配置在默认情况下设置为使用ami-2.3
Parameter Value HADOOP_JOBTRACKER_HEAPSIZE 6912 HADOOP_NAMENODE_HEAPSIZE 2304 HADOOP_TASKTRACKER_HEAPSIZE 384 HADOOP_DATANODE_HEAPSIZE 384 mapred.child.java.opts -Xmx768m mapred.tasktracker.map.tasks.maximum 8 mapred.tasktracker.reduce.tasks.maximum 3
有关更多信息，请参见以下内容：http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/hadoopmemorydefault_ami2.3.htmlhttphttp://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-hadoop-config.html
1条答案
按热度按时间ntjbwcob1#
不，不是每个示例类型都一样。amazon有一个hadoop默认配置的概念，由ami版本控制，最新的版本是ami-2.3。这些配置定义了许多hadoop配置的默认值，例如对于m1.xlarge，以下配置在默认情况下设置为使用ami-2.3
有关更多信息，请参见以下内容：http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/hadoopmemorydefault_ami2.3.htmlhttphttp://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-hadoop-config.html