python - 如何在从 Salesforce 对象中提取数据时推断架构

Question

每当我将数据从 Salesforce 对象拉入 Databricks 时，Databricks 中的所有列都显示为字符串类型。但我想要 Salesforce 中使用的相同数据类型。因此，我在加载时尝试使用 inferSchema=true 选项。但这行不通。

以下是我用于加载 Salesforce 对象的查询：

val sfDF = spark.
                read.
                format("com.springml.spark.salesforce").
                option("username", "your_salesforce_username").
                option("password", "your_salesforce_password_with_secutiry_token"). //<salesforce login password><security token>
                option("soql", soql).   
                option("inferSchema", "true").  
                option("version", "48.0").
                load()

我收到以下错误消息：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 60 in stage 6231.0 failed 4 times, most recent failure: Lost task 60.3 in stage 6231.0 (TID 84032, 10.252.35.82, executor 99): java.lang.UnsupportedOperationException: Unexpected data type BooleanType

在将数据从 Salesforce 对象拉到 Databricks 时，是否有任何其他方法可以推断架构？任何建议都会非常有帮助。

标签： pythonamazon-s3pysparksalesforcedatabricks