apache-spark - 在 Spark SQL 中使用 Presto JDBC 时无法识别的连接属性“url”
问题描述
这是我的 spark sql 代码,我正在尝试根据本指南读取 presto 表; https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html
val df = spark.read
.format("jdbc")
.option("driver", "com.facebook.presto.jdbc.PrestoDriver")
.option("url", "jdbc:presto://localhost:8889/mycatalog")
.option("query", "select * from mydb.mytable limit 1")
.option("user", "myuserid")
.load()
我收到以下异常,unrecognized connection property 'url'
Exception in thread "main" java.sql.SQLException: Unrecognized connection property 'url'
at com.facebook.presto.jdbc.PrestoDriverUri.validateConnectionProperties(PrestoDriverUri.java:345)
at com.facebook.presto.jdbc.PrestoDriverUri.<init>(PrestoDriverUri.java:102)
at com.facebook.presto.jdbc.PrestoDriverUri.<init>(PrestoDriverUri.java:92)
at com.facebook.presto.jdbc.PrestoDriver.connect(PrestoDriver.java:87)
at org.apache.spark.sql.execution.datasources.jdbc.connection.BasicConnectionProvider.getConnection(BasicConnectionProvider.scala:49)
at org.apache.spark.sql.execution.datasources.jdbc.connection.ConnectionProvider$.create(ConnectionProvider.scala:68)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$.$anonfun$createConnectionFactory$1(JdbcUtils.scala:62)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:56)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation$.getSchema(JDBCRelation.scala:226)
at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:35)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:354)
at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:326)
at org.apache.spark.sql.DataFrameReader.$anonfun$load$3(DataFrameReader.scala:308)
at scala.Option.getOrElse(Option.scala:189)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:308)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:226)
at org.apache.spark.sql.DataFrameReader.jdbc(DataFrameReader.scala:341)
似乎此问题与https://github.com/prestodb/presto/issues/9254 有关,其中该属性url
不是 Presto 中公认的属性,并且看起来需要在 Spark 端进行修复?这个问题还有其他解决方法吗?
PS:
Spark Version: 3.1.1
presto-jdbc version: 0.245
解决方案
spark 或 presto JDBC driver没有问题。我认为您指定的 URL 不起作用。
您应该将其更改为以下格式。
jdbc:presto://localhost:8889/mycatalog
更新
不确定它如何与 spark version < 3 一起使用。作为一种解决方法,您可以使用另一个 jar,其中已按照此处指定的方式删除了严格的配置检查。
推荐阅读
- django - docker tmpfs seems to have no effect on postgresql
- dynamics-crm - Creating on demand workflow directly in Production instance
- javascript - Javascript将数组传递给`gulp.src`
- bash - 用于测试不一致段错误的 Bash shell 脚本
- javascript - React - 渲染前的 SetState
- docker - Kubernetes 服务只能在 POD 的主机上访问
- php - Workday 与 php 和 linux 端点文件传递的集成
- python - BeautfulSoup:无法获取所有图像 src
- bash - 带有期望的 Bash 脚本。为多块测试板设置参数
- nginx - NGINX 408 超时(读取客户端请求标头)