apache-spark - 如何使用 Spark-Redshift 连接器设置 wlm_query_slot_count

Question

我正在使用 spark-redshift 连接器从 Spark 启动查询。

val results = spark.sqlContext.read
      .format("com.databricks.spark.redshift")
      .option("url", url_connection)
      .option("query", query)
      .option("aws_iam_role", iam_role)
      .option("tempdir", base_path_temp)
      .load()

我想增加槽数以改进查询，因为它是基于磁盘的。但我不知道如何在连接器中进行下一个查询：

set wlm_query_slot_count to 3;

我不知道如何做到这一点，因为在连接器中的读取命令中没有像在写入命令中那样提供前置操作和后置操作。

谢谢

标签： apache-sparkamazon-redshift