首页 > 解决方案 > Spark - 删除在 sql 提示中声明的广播变量

问题描述

如果已在 sql 提示中声明,spark 中是否有办法从执行程序内存中删除广播变量?

我已经看到了如何从 Spark 中的堆中删除/处置广播变量?但在我的情况下,如果它已在 sql 语句中声明,我想销毁该广播

val dfResult = spark.sql("""
 select /*+ BROADCAST(b) */ a.id, a.name
   from tableA a
   join tableB b
     on a.id = b.id
   """)

有可能吗?也许探索数据框的执行计划?

谢谢

标签: apache-sparkapache-spark-sql

解决方案


推荐阅读