python - PYSPARK SQL ODBC 连接

Question

我已经有一个从 python 到 SQL 服务器的 ODBC 连接，我希望使用 pyspark 来运行查询，如何使用我当前与 pyspark 的连接。

谢谢

标签： pythonpysparkapache-spark-sqlodbcpyodbc

Answer 1

你的问题很广泛，但这里有。您可以使用以下命令从 SQL 数据库中读取：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

df = (
  spark.read.format("jdbc") 
       .option("url", f"jdbc:{sql_flavour}://{ip}:{port};databaseName={database}") 
       .option("dbtable", "table_name") 
       .option("user", username) 
       .option("password", password) 
       .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") 
       .load()
)

我想重要的是使用JDBC格式，但指定你的driver. 如果您遇到此问题，您可能需要下载特定的驱动程序/jar。希望这可以帮助。请尝试包含代码片段或您下次尝试的示例。