passsparksession作为参数,存储在类中,还是使用getorcreate?

fkaflof6  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(211)

我在做一个项目,我和我的团队倾向于用两种方式来获得成功 SparkSession 在方法中:
或者把它当作论点
或者将其传递给类/服务构造函数,从而将其作为类字段。注意,这些服务类是应用程序长寿命的:在启动时创建,在jvm中销毁。
而且,我知道可以使用 getOrCreate 在每个需要sparksession的方法中。就我个人而言,我不喜欢这种“静态”访问,也不喜欢在使用它的类之外有不可见的访问。但就我对spark的理解,我看不出有什么具体的理由不这么做。它们实际上提供了这个静态访问器。
我希望至少在我们的代码库中保持一致,但我不确定哪种方法是最好的。
=>那么,选择一种或另一种方法的原因是什么?
我不是在这里寻找个人偏好(尽管你可以把它们作为注解添加),而是在这里寻找具体的原因w.r.t来激发实现和/或应用于这里的已知良好实践。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题