在spark中运行时是否可以更改executor内存的值?我想这样做的原因是,对于一些map任务,我希望yarn调度器将每个任务放在一个单独的节点上。通过将executor内存增加到接近一个节点的总内存,我可以确保它们分布在每个节点上。稍后,我想在每个节点上运行几个任务,因此我会降低它们的执行器内存。
kknvjkwl1#
不,你不能。每个执行器都在自己的jvm上启动,您不能在运行时更改jvm内存。请参阅以供参考:在运行时设置jvm堆大小
1条答案
按热度按时间kknvjkwl1#
不,你不能。
每个执行器都在自己的jvm上启动,您不能在运行时更改jvm内存。请参阅以供参考:在运行时设置jvm堆大小