我尝试在我的计算机上本地运行Spark应用程序。
我将主机设置为本地[*]。
val spark = SparkSession
.builder()
.master("local[*]")
.getOrCreate()我使用下面的命令来运行我的应用程序：
spark-submit --driver-memory 4g solver.jar但是当我进入Spark UI时，我看到分配给驱动器的内存只有2. 2GB。
如何为驱动程序分配更多内存？
我尝试在我的计算机上本地运行Spark应用程序。
我将主机设置为本地[*]。
val spark = SparkSession
.builder()
.master("local[*]")
.getOrCreate()我使用下面的命令来运行我的应用程序：
spark-submit --driver-memory 4g solver.jar但是当我进入Spark UI时，我看到分配给驱动器的内存只有2. 2GB。
如何为驱动程序分配更多内存？
1条答案
按热度按时间k97glaaz1#
使用
--driver-memory 4g是增加内存的正确方法。在sparkUI上，显示存储内存。最大存储内存使用以下公式计算：
(JVM Heap Space - 300 MB) * 0.6在您的情况下：（（4 * 1024 - 300）* 0.6）/1024 = 2.2千兆比特
更多详细信息：www.example.comhttps://spark.apache.org/docs/latest/tuning.html#memory-management-overview