我想读取sparksql查询执行计划并将其保存到文本文件中,以便进一步分析逻辑和物理计划。我怎样才能以这样的方式来阅读它,从而可以将它保存到一个文件中。我正在使用df.explain()方法,但它只是将计划打印到cmd控制台。有没有办法把它存储在字符串中,或者直接保存到文本文件中,或者从控制台提取计划?
91zkwejq1#
可以通过以下方式将执行计划存储到字符串:如果你有 dataframe df :
dataframe df
df.queryExecution.toString()
对于逻辑计划:
df.queryExecution.logical.toString()
1条答案
按热度按时间91zkwejq1#
可以通过以下方式将执行计划存储到字符串:
如果你有
dataframe df
:对于逻辑计划: