请帮助我理解我的理解或配置中的错误。
我正在运行spark on yarn，并已在yarn-site.xml中将最小容器内存分配设置为8gb：
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>8192</value>
</property>我可以在资源管理器ui中看到此设置：
但是，当我在服务器上ps容器的java进程时，最大堆大小设置为1024mb，即-xmx1024m：
root 542 535 1 16:18 ? 00:05:58 /usr/lib/jvm/jre-1.8.0-openjdk/bin/java -server -Xmx1024m -Djava.io.tmpdir=/tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1583021363029_0011/container_1583021363029_0011_03_000003/tmp ...容器的java进程id是542：
Logs for container_1583021363029_0011_03_000003
0/03/02 16:18:57 INFO executor.CoarseGrainedExecutorBackend: Started daemon with process name: 542@xxxxxxxx.xxxx.xxx
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for TERM
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for HUP
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for INT
1条答案
按热度按时间qzwqbdag1#
java选项和Yarn容器大小是不同的属性
最大堆大小设置可以通过
spark.driver.memory在群集模式下并通过--driver-memory客户端模式下的命令行选项