我有一个使用ambari的hadoop集群设置,它在主机上运行hdfs、yarn、spark等服务。当我以集群模式作为主线程运行示例spark pi时,应用程序成功执行,我可以从资源管理器日志中查看相同的结果。但是当我点击历史链接时,它不会显示spark历史ui。如何启用/查看相同的?
mzaanser1#
首先,检查spark历史服务器是否已通过查找 spark.yarn.historyServer.address 在spark-defaults.conf文件中。如果未配置,此链接将帮助您配置服务器:https://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.3.6/bk_installing_manually_book/content/ch19s04s01.html如果已经配置,请检查是否可以从群集中的所有节点访问历史服务器主机,并且端口是否已打开。
spark.yarn.historyServer.address
1条答案
按热度按时间mzaanser1#
首先,检查spark历史服务器是否已通过查找
spark.yarn.historyServer.address
在spark-defaults.conf文件中。如果未配置,此链接将帮助您配置服务器:https://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.3.6/bk_installing_manually_book/content/ch19s04s01.html
如果已经配置,请检查是否可以从群集中的所有节点访问历史服务器主机,并且端口是否已打开。