为什么Spark频繁增加和删除executors?

ttygqcqt  于 2023-10-23  发布在  Apache
关注(0)|答案(1)|浏览(141)

我有一个spark作业,最近这个作业执行得很慢,主要是因为频繁的添加和删除excutor.

我觉得有两个问题应该优化,第一是减少这个excutor的移除,减少移除之后重新创建excutor的时间,但是不知道怎么做。

xcitsw88

xcitsw881#

动态资源分配可以解释这一点。这似乎是启用的。这取决于工作负载以及相关参数的设置方式。

相关问题