spark提交:进程永不消亡

bihw5rsg  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(273)

我正在对一些数据进行pyspark分析。这是我第一次使用spark进行数据分析,因此pyspark的工作流程有很多细节让我困惑。
与这个问题相关的是:我的

nohup spark-submit test.py 1>output &

永远不会死,即使所有的结果都收集到了。以下命令

ps aux | grep python

作业完成后包含此进程

myusername 7216 0.1 0.0 626924 53364 pts/1  Sl 17:14 0:01 python /path/to/test.py

因此,我需要手动

kill -15 7216

世界被拯救了。我能拯救世界而不杀人吗?
或者这只是一个僵尸的过程,我必须杀死之后?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题