时间戳

首页 > 解决方案 > 需要将 Spark 转换为 Python 以将 DF 复制到 Azure SQL Server

python - 需要将 Spark 转换为 Python 以将 DF 复制到 Azure SQL Server

问题描述

我有以下 Scala 代码，它在 Spark 环境中运行良好，但我们上周刚刚切换到 Python。我需要将代码转换为在 Python 设置中运行。我怎样才能做到这一点？

import com.microsoft.azure.sqldb.spark.bulkcopy.BulkCopyMetadata
import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._

val bulkCopyConfig = Config(Map(
  "url"               -> "mysqlserver.database.windows.net",
  "databaseName"      -> "MyDatabase",
  "user"              -> "username",
  "password"          -> "*********",
  "databaseName"      -> "MyDatabase",
  "dbTable"           -> "dbo.Clients",
  "bulkCopyBatchSize" -> "2500",
  "bulkCopyTableLock" -> "true",
  "bulkCopyTimeout"   -> "600"
))

df.bulkCopyToSqlDB(bulkCopyConfig)

代码来自这里。

https://github.com/Azure/azure-sqldb-spark/blob/master/README.md

看起来代码应该基本相同，但我确信某些格式会有所不同。

我也在看下面的网站，但我没有看到任何超级有用的东西。

http://www.nerdsgene.com/Article/BulkCopyToSQLDB

任何想法？谢谢大家！

标签： pythonpython-3.xdataframeapache-sparkapache-spark-sql

解决方案

推荐阅读