如何关闭spark示例

pgvzfuti 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(437)

我想在这里停止我的Spark示例，一旦我完成我的工作运行在jupyter笔记本。我确实执行了 spark.stop() 最后，但当我打开终端时，我仍然能看到Spark过程 ps -ef | grep spark 所以每次我都要手动杀死spark进程id。有人知道怎么解决这个问题吗？谢谢！！

spark = SparkSession.builder \
    .master("local") \
    .appName("Test") \
    .config("spark.executorEnv.PYTHONPATH", "pyspark.zip:py4j-0.10.7-src.zip")\
    .config('spark.jars','/Users/xxx/Documents/snowflake-jdbc-3.12.8.jar,/Users/xxx/Documents/spark-snowflake_2.11-2.7.2-spark_2.4.jar') \
    .config('spark.jars.packages','org.apache.hadoop:hadoop-aws:2.7.3') \
    .getOrCreate()

apache-spark pyspark jupyter-notebook

来源：https://stackoverflow.com/questions/62924416/how-to-close-the-spark-instance