任务节点没有使用aws emr管理的扩展进行缩减

7tofc5zh  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(215)

我已经用spark streaming的一个步骤建立了一个emr集群,并且配置了emr管理的扩展。
我提交临时Spark作业也就掌握与Spark提交。提交作业时,集群会扩大,但在临时作业完成后,集群不会缩小,除非终止spark流式处理作业。这意味着,直到集群空闲(spark上没有运行的作业)时,集群才会缩小。
如何使用在同一个集群上运行的spark streaming通过emr管理的扩展来缩小集群?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题