我在ipython笔记本里执行这个代码
def some():
import pyspark
conf = (pyspark.SparkConf()
.setMaster("yarn-client")
.setAppName("MyTest"))
sc = pyspark.SparkContext(conf=conf)
data = sc.textFile("/tmp/mytest/")
print data.count()
some()
我正在执行spark,以便在函数some()的执行结束后释放资源(执行器和驱动程序应该退出)。然而这并没有发生。应用程序仅在我关闭笔记本时终止。
有人能告诉我如何在我的脚本中终止pyspark应用程序吗?
1条答案
按热度按时间chhkpiq41#
python是垃圾收集的,您不应该太担心资源-内存。
但你可以随时使用
sc.stop()
,这对于其他一些情况也很方便。