我想知道我是否更改了spark-env.sh中工作节点的设置,是否会更改该执行器的设置?我知道spark\u worker\u示例应用于每个执行器,我可以在webui中看到,但是其余的呢?我已经为一个执行器设置了此设置,无法验证此设置是否确实应用于此工作节点。我正在群集模式下使用spark standalone。
SPARK_EXECUTOR_CORES=4
SPARK_EXECUTOR_MEMORY=6G
是否有任何方法可以验证每个executor节点的设置?如果没有,有没有办法为不同的执行者应用不同的设置?
谢谢和问候,
露底
暂无答案!
目前还没有任何答案,快来回答吧!