我在做一个项目,我和我的团队倾向于用两种方式来获得成功 SparkSession
在方法中:
或者把它当作论点
或者将其传递给类/服务构造函数,从而将其作为类字段。注意,这些服务类是应用程序长寿命的:在启动时创建,在jvm中销毁。
而且,我知道可以使用 getOrCreate
在每个需要sparksession的方法中。就我个人而言,我不喜欢这种“静态”访问,也不喜欢在使用它的类之外有不可见的访问。但就我对spark的理解,我看不出有什么具体的理由不这么做。它们实际上提供了这个静态访问器。
我希望至少在我们的代码库中保持一致,但我不确定哪种方法是最好的。
=>那么,选择一种或另一种方法的原因是什么?
我不是在这里寻找个人偏好(尽管你可以把它们作为注解添加),而是在这里寻找具体的原因w.r.t来激发实现和/或应用于这里的已知良好实践。
暂无答案!
目前还没有任何答案,快来回答吧!