在mesos中设置spark执行器的主机名

1sbrub3j  于 2021-06-26  发布在  Mesos
关注(0)|答案(0)|浏览(262)

我需要为从mesos粗粒度模式启动的spark执行器配置主机名。默认情况下,显示主机名的ip。
spark ui验证执行器主机名

在单机版中,我可以通过在每个worker节点中设置spark\u local\u hostname-环境变量来解决这个问题。但在梅索斯我被困住了。
我尝试配置以下选项,但没有成功
在spark会话(spark conf)中设置spark.executenv.spark\u local\u hostname=$hostname
在spark tarball中的sparkenv.sh中设置spark\u local\u hostname=$hostname,spark tarball在部署期间在spark executor uri中指定

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题