我想在运行时解析spark流应用程序（在集群模式下启动）的驱动程序日志。是否可以强制驱动程序登录到我用来提交应用程序的边缘节点？
ujv3wf0j1#
如果您希望驱动程序日志位于您调用的本地磁盘上 spark-submit ，则必须以客户端模式提交应用程序。否则，将在群集中任何可能的节点上运行驱动程序。理论上，您可以将spark/hadoop/yarn日志与fluentd或filebeat之类的解决方案相结合，例如将日志流到kafka或原始socket流中，然后将它们读回spark，但是这对于您的需要来说可能太复杂了。
spark-submit
1条答案
按热度按时间ujv3wf0j1#
如果您希望驱动程序日志位于您调用的本地磁盘上
spark-submit，则必须以客户端模式提交应用程序。否则，将在群集中任何可能的节点上运行驱动程序。
理论上，您可以将spark/hadoop/yarn日志与fluentd或filebeat之类的解决方案相结合，例如将日志流到kafka或原始socket流中，然后将它们读回spark，但是这对于您的需要来说可能太复杂了。