根据http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html# 新的emr版本4.0.0允许配置json文件来配置组件。也在看http://docs.aws.amazon.com//elasticmapreduce/latest/releaseguide/emr-configure-apps.html,我有json结构:
[
{
"Classification": "mapred-site",
"Properties": {
"mapreduce.map.memory.mb": "4096",
"mapreduce.map.java.opts": "-Xmx4096M"
}
},
{
"Classification": "hadoop-env",
"Properties": {},
"Configurations": [
{
"Classification": "export",
"Properties": {
"HADOOP_CLIENT_OPTS": "-Xmx4096M"
}
}
]
}
]
hadoop env属性可以工作,但是在创建emr集群时Map的站点属性不会反映出来。我总是可以从配置单元中设置这些属性,但是有没有办法让它与配置文件一起工作?
1条答案
按热度按时间56lgkhnf1#
我也遇到过类似的问题,但是使用了“hadoop env”分类。
从这篇文章:https://github.com/aws/aws-cli/issues/1502 我发现将关键字(分类、属性等)的大小写改为小写就解决了这个问题。
注意:我使用的是aws控制台,不是cli。