我有一个使用ambari的hadoop集群设置，它在主机上运行hdfs、yarn、spark等服务。当我以集群模式作为主线程运行示例spark pi时，应用程序成功执行，我可以从资源管理器日志中查看相同的结果。但是当我点击历史链接时，它不会显示spark历史ui。如何启用/查看相同的？
mzaanser1#
首先，检查spark历史服务器是否已通过查找 spark.yarn.historyServer.address 在spark-defaults.conf文件中。如果未配置，此链接将帮助您配置服务器：https://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.3.6/bk_installing_manually_book/content/ch19s04s01.html如果已经配置，请检查是否可以从群集中的所有节点访问历史服务器主机，并且端口是否已打开。
spark.yarn.historyServer.address
1条答案
按热度按时间mzaanser1#
首先，检查spark历史服务器是否已通过查找
spark.yarn.historyServer.address在spark-defaults.conf文件中。如果未配置，此链接将帮助您配置服务器：https://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.3.6/bk_installing_manually_book/content/ch19s04s01.html
如果已经配置，请检查是否可以从群集中的所有节点访问历史服务器主机，并且端口是否已打开。