我需要为从mesos粗粒度模式启动的spark执行器配置主机名。默认情况下,显示主机名的ip。
spark ui验证执行器主机名
在单机版中,我可以通过在每个worker节点中设置spark\u local\u hostname-环境变量来解决这个问题。但在梅索斯我被困住了。
我尝试配置以下选项,但没有成功
在spark会话(spark conf)中设置spark.executenv.spark\u local\u hostname=$hostname
在spark tarball中的sparkenv.sh中设置spark\u local\u hostname=$hostname,spark tarball在部署期间在spark executor uri中指定
暂无答案!
目前还没有任何答案,快来回答吧!