我有一个spark作业，它在前半部分需要很大一部分executor内存，在后半部分需要很大一部分用户内存。有没有办法在运行时动态改变spark内存的分数？
eeq64g8w1#
简称： spark.* 无法在运行时更改配置选项。更长：应该没有必要。如果使用最新的spark（1.6或更高版本），则不推荐使用内存设置。你可以设置 spark.memory.useLegacyMode 剩下的就交给斯帕克了。
spark.*
spark.memory.useLegacyMode
1条答案
按热度按时间eeq64g8w1#
简称：
spark.*无法在运行时更改配置选项。更长：应该没有必要。如果使用最新的spark（1.6或更高版本），则不推荐使用内存设置。你可以设置
spark.memory.useLegacyMode剩下的就交给斯帕克了。