时间戳

首页 > 解决方案 > 从 Databricks 批量写入 Cosmos DB

pyspark - 从 Databricks 批量写入 Cosmos DB

问题描述

有人可以让我知道从 Databrick 写入 Cosmos DB 时 asterics ** 实现了什么。

# Write configuration
writeConfig = {
    "Endpoint": "https://doctorwho.documents.azure.com:443/",
    "Masterkey": "YOUR-KEY-HERE",
    "Database": "DepartureDelays",
    "Collection": "flights_fromsea",
    "Upsert": "true"
}

# Write to Cosmos DB from the flights DataFrame
flights.write.format("com.microsoft.azure.cosmosdb.spark").options(
    **writeConfig).save()

谢谢

标签： pysparkazure-cosmosdbazure-databricks

解决方案

这只是为了让您在您的情况下直接使用列表、元组或字典传递多个参数。

所以与其说：

flights.write.format("com.microsoft.azure.cosmosdb.spark")\
             .option("Endpoint", "https://doctorwho.documents.azure.com:443/")\
             .option("Upsert", "true")\
             .option("Masterkey", "YOUR-KEY-HERE")\
             ...etc

您只需将所有参数放在字典中，然后像下面这样传递它

flights.write.format("com.microsoft.azure.cosmosdb.spark").options(
    **yourdict).save()

推荐阅读