我可以在运行时更改spark的执行器内存吗?

kgsdhlau  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(294)

在spark中运行时是否可以更改executor内存的值?我想这样做的原因是,对于一些map任务,我希望yarn调度器将每个任务放在一个单独的节点上。通过将executor内存增加到接近一个节点的总内存,我可以确保它们分布在每个节点上。稍后,我想在每个节点上运行几个任务,因此我会降低它们的执行器内存。

kknvjkwl

kknvjkwl1#

不,你不能。
每个执行器都在自己的jvm上启动,您不能在运行时更改jvm内存。请参阅以供参考:在运行时设置jvm堆大小

相关问题