我需要/如何清理spark会话?

mv1qrgav  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(322)

我将在python flask web服务中启动spark2.4.6。我正在运行一个singlespark上下文,还启用了公平调度。
每次用户向我调用的其他端点之一发出请求时 spark = sparkSession.newSession() 然后在这个有点孤立的环境中使用sparksql执行各种操作。
我担心的是,在100个、10000个或一百万个新会话的请求之后,在某个时候我会遇到问题吗?有没有办法让我的sparkcontext知道我不再需要旧会话了,它可以被清除?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题