apache-spark - 从 PySpark 连接到 MSSQL
问题描述
我正在尝试使用spark.read.jdbc从PySpark连接到MS SQL DB 。
import os
from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark import SparkContext;
from pyspark.sql.session import SparkSession
sc = SparkContext('xx')
spark = SparkSession(sc)
spark.read.jdbc('DESKTOP-XXXX\SQLEXPRESS',
"""(select COL1, COL2 from tbl1 WHERE COL1 = 2) """,
properties={'user': sa, 'password': 12345, 'driver': xxxx})
我不知道我应该sc = SparkContext('xx')
传递'driver': xxxx
哪些参数?
解决方案
替换serveraddress
为您的数据库地址:
sc = SparkContext()
spark = SparkSession(sc)
spark.read \
.format('jdbc') \
.option('url', 'jdbc:sqlserver://serveraddress:1433') \
.option('user', 'sa') \
.option('password', '12345') \
.option('dbtable', '(select COL1, COL2 from tbl1 WHERE COL1 = 2)')
推荐阅读
- javascript - Vue 3 CLI - 如何为 Object.entries 添加 babel polyfill
- fitnesse - Fitnesse: is it possible to disable Test and Suite buttons?
- android - Android 发布模式下的 Facebook 登录问题
- c - 指针解引用符号 * 可以称为“多”吗?
- javalite - ActiveWeb:在模板中调用时模型设置器/获取器不起作用
- javascript - 在 React + Redux 中创建输入组件并控制多个表单状态
- database - DB2:涉及多个表的更新查询
- rust - `return 5;` 是 Rust 中的语句或表达式吗?
- python - 如何使用键对 Pandas DataFrame 进行排序?
- mysql - MySQL 从最后 50 行中选择最高的