删除sql提示中声明的广播变量

z9smfwbn  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(292)

如果广播变量已在sql提示中声明,spark中是否有方法从executor内存中删除广播变量?
我见过如何从spark的堆中删除/处理广播变量?但在我的例子中,如果广播是用sql语句声明的,我想销毁它

val dfResult = spark.sql("""
 select /*+ BROADCAST(b) */ a.id, a.name
   from tableA a
   join tableB b
     on a.id = b.id
   """)

有可能吗?也许在研究Dataframe的执行计划?
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题