我想取消spark的一项工作,因为有时需要更多的时间,而且还没有完成。当我们调用一个操作时,就会创建一个作业。例如,当我打对方付费电话时,要花更多的时间才能完成。我想取消这次行动的任务。我不使用spark submit,而是在scala代码中创建sparkcontext。我的应用程序是基于graphx的web应用程序。在spark我怎么做?
insrf1ej1#
我找到了答案,cancelgroupjob()可以帮助解决这个问题。下面链接介绍解决方案。取消作业组
llmtgqce2#
我想你在找这个。
val res = spark.sparkContext.applicationId print(res) //local-1593342096634res: String = local-1593342096634
2条答案
按热度按时间insrf1ej1#
我找到了答案,
cancelgroupjob()可以帮助解决这个问题。下面链接介绍解决方案。取消作业组
llmtgqce2#
我想你在找这个。