如何在Pyspark客户端模式下设置driver_memory和executor_memory

kq4fsx7k 于 2023-03-22 发布在 Spark

关注(0)|答案(1)|浏览(209)

我想扩大司机的记忆，我看了官方文件，上面说
在客户端模式下，此配置不能直接在应用程序中通过SparkConf设置，因为驱动程序JVM已经在该点启动。相反，请通过--driver-memory命令行选项或在默认属性文件中设置此配置。
所以我使用pyspark --conf spark.driver.memory= 6 g--conf spark.executor.memory= 6 g来修改。但是在我设置并启动一个测试pyfile来检查后，配置driver.memory是None。有人知道为什么吗？非常感谢！
希望能改变设置

pyspark

来源：https://stackoverflow.com/questions/75802960/how-to-set-driver-memoryexecutor-memory-in-pyspark-client-mode

1条答案

按热度按时间

nbnkbykc1#

最后，我编辑'$SPARK_HOME/conf/spark-defaults.conf'并添加

spark.driver.memory 6g
spark.executor.memory 6g

但是我还是想弄清楚为什么我以前的尝试是无用的。

赞(0）回复(0）举报 2023-03-22

我来回答

如何在Pyspark客户端模式下设置driver_memory和executor_memory

1条答案

相关问题

热门标签

最新问答