我正在使用databricks中的spark。我想调整spark.driver.memory的配置。由于默认值是1g，我想增加到14g，因为我的驱动程序的总内存为16 GB，我想充分利用它。当我使用spark.conf.get("spark.driver.memory"),查询此配置时，它给出错误消息"java.util.NoSuchElementException: spark.driver.memory"。有人建议我们需要在集群中使用高级选项来设置此配置。但是我很好奇为什么这会抛出一个错误。
1条答案
按热度按时间50pmv0ei1#
驱动程序和执行器内存在Databricks上自动调整，所以你不需要手动调整。此外，对于可以设置的最大内存大小有一些限制，因为Databricks需要额外的内存用于管理工具-确切描述could be found in the following knowledge base article。执行器内存的近似公式为：
对于
spark.driver.memory，与执行器相比，我们需要多占用约1Gb的内存。