docker 即使使用控制台中报告的IP地址,也无法访问Spark UI

rqqzpn5f  于 2023-01-04  发布在  Docker
关注(0)|答案(1)|浏览(145)

我无法访问容器化spark集群的Web UI,即使我复制并粘贴以下IP地址:

Stopped Spark web UI at http://987c8b219d32:4040

我构建的集群取自本教程Spark Cluster Tutorial

pgky5nke

pgky5nke1#

该日志指定Web UI已停止。spark应用程序停止后,您将无法访问Web UI,如文档中所述:
请注意,默认情况下,此信息仅在应用程序期间可用。
要允许在应用程序停止后访问Web UI,您需要:
在启动应用程序之前,将spark.eventLog.enabled设置为true。这将配置Spark将编码UI中显示的信息的Spark事件记录到持久存储中。
请在此处查看文档。
另请注意,在本教程中,默认Web UI端口更改为:

SPARK_MASTER_WEBUI_PORT=8080 \
SPARK_WORKER_WEBUI_PORT=8080 \

并且它们暴露在对接器组成文件中的容器外部到端口9090、9091和9092:

- "9090:8080"
  - "9091:8080"
  - "9092:8080"

这意味着您可以使用以下命令访问Web UI:第一个月

相关问题