我正在databricks集群上运行作业。当集群运行时，我可以通过spark cluster ui master下拉列表找到executor日志，选择一个worker并查看stderr日志。但是，一旦作业完成并且集群终止，我就无法看到这些日志。我在屏幕下面我无法访问spark ui（最后一个选项卡）。在集群终止后，有没有什么方法可以像下载驱动程序日志一样获取执行器日志？
iezvtpos1#
希望这能对你有所帮助——这里有更多的细节单击“作业”单击要查看其日志的作业单击“日志”。这将显示驱动程序日志。对于executor日志，这个过程要复杂一些：单击群集在列表中选择与作业对应的集群单击spark ui现在您必须选择要查看其日志的worker。单击节点列表（在最右边的“apps”旁边），然后可以单击stdout或stderr查看日志
1条答案
按热度按时间iezvtpos1#
希望这能对你有所帮助——这里有更多的细节
单击“作业”
单击要查看其日志的作业
单击“日志”。这将显示驱动程序日志。
对于executor日志，这个过程要复杂一些：
单击群集
在列表中选择与作业对应的集群
单击spark ui
现在您必须选择要查看其日志的worker。单击节点列表（在最右边的“apps”旁边），然后可以单击stdout或stderr查看日志