如果广播变量已在sql提示中声明,spark中是否有方法从executor内存中删除广播变量?
我见过如何从spark的堆中删除/处理广播变量?但在我的例子中,如果广播是用sql语句声明的,我想销毁它
val dfResult = spark.sql("""
select /*+ BROADCAST(b) */ a.id, a.name
from tableA a
join tableB b
on a.id = b.id
""")
有可能吗?也许在研究Dataframe的执行计划?
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!