pyspark:如何释放资源

vsnjm48y  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(1031)

我在ipython笔记本里执行这个代码

def some():
    import pyspark
    conf = (pyspark.SparkConf() 
                    .setMaster("yarn-client") 
                    .setAppName("MyTest")) 
    sc = pyspark.SparkContext(conf=conf)
    data = sc.textFile("/tmp/mytest/")
    print data.count()

some()

我正在执行spark,以便在函数some()的执行结束后释放资源(执行器和驱动程序应该退出)。然而这并没有发生。应用程序仅在我关闭笔记本时终止。
有人能告诉我如何在我的脚本中终止pyspark应用程序吗?

chhkpiq4

chhkpiq41#

python是垃圾收集的,您不应该太担心资源-内存。
但你可以随时使用 sc.stop() ,这对于其他一些情况也很方便。

相关问题