我无法访问容器化spark集群的Web UI,即使我复制并粘贴以下IP地址:
Stopped Spark web UI at http://987c8b219d32:4040
我构建的集群取自本教程Spark Cluster Tutorial
pgky5nke1#
该日志指定Web UI已停止。spark应用程序停止后,您将无法访问Web UI,如文档中所述:请注意,默认情况下,此信息仅在应用程序期间可用。要允许在应用程序停止后访问Web UI,您需要:在启动应用程序之前,将spark.eventLog.enabled设置为true。这将配置Spark将编码UI中显示的信息的Spark事件记录到持久存储中。请在此处查看文档。另请注意,在本教程中,默认Web UI端口更改为:
SPARK_MASTER_WEBUI_PORT=8080 \ SPARK_WORKER_WEBUI_PORT=8080 \
并且它们暴露在对接器组成文件中的容器外部到端口9090、9091和9092:
- "9090:8080" - "9091:8080" - "9092:8080"
这意味着您可以使用以下命令访问Web UI:第一个月
1条答案
按热度按时间pgky5nke1#
该日志指定Web UI已停止。spark应用程序停止后,您将无法访问Web UI,如文档中所述:
请注意,默认情况下,此信息仅在应用程序期间可用。
要允许在应用程序停止后访问Web UI,您需要:
在启动应用程序之前,将spark.eventLog.enabled设置为true。这将配置Spark将编码UI中显示的信息的Spark事件记录到持久存储中。
请在此处查看文档。
另请注意,在本教程中,默认Web UI端口更改为:
并且它们暴露在对接器组成文件中的容器外部到端口9090、9091和9092:
这意味着您可以使用以下命令访问Web UI:第一个月