emr配置json

2hh7jdfx  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(263)

根据http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html# 新的emr版本4.0.0允许配置json文件来配置组件。也在看http://docs.aws.amazon.com//elasticmapreduce/latest/releaseguide/emr-configure-apps.html,我有json结构:

[
 {
   "Classification": "mapred-site",
   "Properties": {
      "mapreduce.map.memory.mb": "4096",
      "mapreduce.map.java.opts": "-Xmx4096M"
   }
 },
 {
   "Classification": "hadoop-env",
   "Properties": {},
   "Configurations": [
       {
         "Classification": "export",
         "Properties": {
             "HADOOP_CLIENT_OPTS": "-Xmx4096M"
         }
       }
   ]
 }
]

hadoop env属性可以工作,但是在创建emr集群时Map的站点属性不会反映出来。我总是可以从配置单元中设置这些属性,但是有没有办法让它与配置文件一起工作?

56lgkhnf

56lgkhnf1#

我也遇到过类似的问题,但是使用了“hadoop env”分类。
从这篇文章:https://github.com/aws/aws-cli/issues/1502 我发现将关键字(分类、属性等)的大小写改为小写就解决了这个问题。
注意:我使用的是aws控制台,不是cli。

相关问题