如何将额外的Dataframe传递给定制的spark mllib转换器

mwg9r5ms  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(452)

我正在编写一个定制的spark转换器,在其中我需要访问一个额外的Dataframe,并与主数据集进行连接。要连接的Dataframe的路径将出现在我的主类中。如何将Dataframe本身或Dataframe的路径传递给自定义转换器?

cmssoen2

cmssoen21#

正如@someshwarkale所建议的,可以在transform方法中访问它。可以通过从dataset.sparksession获取所需的sparksession

相关问题