spark中dag/谱系图的优化

tjjdgumg  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(479)

我们有这样一个场景:
我们正在从10个rdbms表中获取数据,并将它们转换为spark中的Dataframe。
用不同的连接条件连接所有Dataframe,最后将最终结果加载到表中。
我们使用多个转换来实现最终的查询,因此dag和沿袭图将是巨大的,我们可以优化以使dag/沿袭图更小吗?
谢谢,
维杰

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题