我想创建emr hive集群，它将使用glue作为数据目录，使用awscli。我在aws文档或其他地方搜索时没有发现任何与此相关的内容。这可能吗？
kzipqqlq1#
首先，我们创建一个名为emr.json的配置分类，该分类将aws glue data catalog指定为配置单元的元存储：
[ { "Classification": "hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory", "hive.metastore.schema.verification": "false" } } ]
注意：在emr版本5.28.0、5.28.1或5.29.0上，如果要使用aws glue数据目录作为元存储创建集群，我们将hive.metastore.schema.verification设置为false。最后，我们将配置分类文件与最终命令结合起来，如下所示：
aws emr create-cluster --name "syumaK-cluster" --configurations file://emr.json --release-label emr-5.28.0 --use-default-roles --applications Name=Hadoop Name=Spark Name=Hive Name=HUE --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m1.medium InstanceGroupType=CORE,InstanceCount=2,InstanceType=m1.medium
答复：
{ "ClusterId": "j-2NZ6xxxxxx", "ClusterArn": "arn:aws:elasticmapreduce:us-east-1:1925xxxxx:cluster/j-2NZ6xxxxxx" }
希望这有帮助！
1条答案
按热度按时间kzipqqlq1#
首先，我们创建一个名为emr.json的配置分类，该分类将aws glue data catalog指定为配置单元的元存储：
注意：在emr版本5.28.0、5.28.1或5.29.0上，如果要使用aws glue数据目录作为元存储创建集群，我们将hive.metastore.schema.verification设置为false。
最后，我们将配置分类文件与最终命令结合起来，如下所示：
答复：
希望这有帮助！