时间戳

首页 > 解决方案 > 如何在 databricks 中为 redis 连接设置 jar 配置

pyspark - 如何在 databricks 中为 redis 连接设置 jar 配置

问题描述

我在 databricks 中安装了以下 jar "com.redislabs:spark-redis_2.12:2.5.0"。并尝试使用各自的身份验证创建火花会话

下面是我使用凭据创建火花会话的代码

redis= SparkSession.builder.appName("redis_connection").config("spark.redis.host", "hostname").config("spark.redis.port", "port").config("spark.redis.auth", "pass").getOrCreate()

但是当我尝试使用以下代码保存它时

df.write.format("org.apache.spark.sql.redis").option("table", "velocity").option("key.column", "name").option("ttl", 30).save()

这会引发以下错误。

Caused by: redis.clients.jedis.exceptions.JedisConnectionException: Failed connecting to host localhost:6379

这显然意味着连接到localhost而不是我提供的主机名。如何在数据块中使用主机名和密码传递 jar 配置以验证连接。

标签： pysparkazure-databricksspark-redis

解决方案

最有可能的 databricks 选择了未设置配置参数的错误 spark 会话。您可以尝试两种选择：

  1. 在 Databricks 集群配置中设置和spark.redis.host。转到集群 -> 编辑 -> 高级选项 -> Spark -> Spark Configspark.redis.portspark.redis.auth
  2. 在隐式创建的spark会话中设置选项，spark.conf.set("spark.redis.host", "host")与其他参数相同。

推荐阅读