我将在python flask web服务中启动spark2.4.6。我正在运行一个singlespark上下文,还启用了公平调度。
每次用户向我调用的其他端点之一发出请求时 spark = sparkSession.newSession()
然后在这个有点孤立的环境中使用sparksql执行各种操作。
我担心的是,在100个、10000个或一百万个新会话的请求之后,在某个时候我会遇到问题吗?有没有办法让我的sparkcontext知道我不再需要旧会话了,它可以被清除?
我将在python flask web服务中启动spark2.4.6。我正在运行一个singlespark上下文,还启用了公平调度。
每次用户向我调用的其他端点之一发出请求时 spark = sparkSession.newSession()
然后在这个有点孤立的环境中使用sparksql执行各种操作。
我担心的是,在100个、10000个或一百万个新会话的请求之后,在某个时候我会遇到问题吗?有没有办法让我的sparkcontext知道我不再需要旧会话了,它可以被清除?
暂无答案!
目前还没有任何答案,快来回答吧!