我正在编写一个定制的spark转换器,在其中我需要访问一个额外的Dataframe,并与主数据集进行连接。要连接的Dataframe的路径将出现在我的主类中。如何将Dataframe本身或Dataframe的路径传递给自定义转换器?
cmssoen21#
正如@someshwarkale所建议的,可以在transform方法中访问它。可以通过从dataset.sparksession获取所需的sparksession
1条答案
按热度按时间cmssoen21#
正如@someshwarkale所建议的,可以在transform方法中访问它。可以通过从dataset.sparksession获取所需的sparksession