kill运行的spark驱动程序

bqf10yzr  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(349)

我正在一个小的计算集群上运行spark1.6.0,希望杀死一个驱动程序。我已经提交了一个开箱即用的spark pi计算示例的自定义实现,包括以下选项:

spark-submit --class JavaSparkPi --master spark://clusterIP:portNum --deploy-mode cluster /path/to/jarfile/JavaSparkPi.jar 10

注意:10是命令行参数,与此问题无关。
我尝试了多种方法来终止在集群上启动的驱动程序:
./bin/spark类org.apache.spark.deploy.client kill
spark提交--主spark://node-1:6066—杀死$driverid
从spark管理界面(web ui)发出kill命令:http://my-cluster-url:8080
数字2产生一个成功的json响应:

{
  "action" : "KillSubmissionResponse",
  "message" : "Kill request for driver-xxxxxxxxxxxxxx-xxxx submitted",
  "serverSparkVersion" : "1.6.0",
  "submissionId" : "driver-xxxxxxxxxxxxxx-xxxx",
  "success" : true
}

其中“driver--x”是实际的驱动程序id。
但是web用户界面http://my-cluster-url:8080/仍显示驱动程序正在运行。
还有什么我可以试试的吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题