apache-spark - 在 spark thrift server 中运行 sql 时控制执行器的数量

Question

我有一个 spark thrift 服务器，用户可以将 spark sql 提交到这个服务器。

我希望我可以控制将用于运行用户的 sql 的 executor 的数量。也就是说，我不希望 executor 尽可能多（稍后提交的 sql 可能要等待）

我会问这是否可能。

标签： apache-sparkapache-spark-sqlspark-thriftserver

Answer 1

这控制了执行者的最大和最小数量，但是是静态的：

spark.dynamicAllocation.maxExecutors
spark.dynamicAllocation.minExecutors

动态地，afaik，这是不可能的。