我正在对一些数据进行pyspark分析。这是我第一次使用spark进行数据分析,因此pyspark的工作流程有很多细节让我困惑。
与这个问题相关的是:我的
nohup spark-submit test.py 1>output &
永远不会死,即使所有的结果都收集到了。以下命令
ps aux | grep python
作业完成后包含此进程
myusername 7216 0.1 0.0 626924 53364 pts/1 Sl 17:14 0:01 python /path/to/test.py
因此,我需要手动
kill -15 7216
世界被拯救了。我能拯救世界而不杀人吗?
或者这只是一个僵尸的过程,我必须杀死之后?
暂无答案!
目前还没有任何答案,快来回答吧!