python - 使用 Python/Pyspark 在 Salesforce 中查询具有 400 万条记录和 250 列的表

Question

我需要从具有 400 万条记录和 250 列的 Salesforce 中提取表 ABC。我正在使用 python simple-salesforce API 来执行此操作，但是如果我使用的是 8GB ram 机器，则内存不足。

1. 有什么方法可以使用 Pyspark 在 Salesforce 中查询这么多的记录，如果有，请建议。

2. 如果还有使用 Python 或 Pyspark 的任何其他方法，请同时提出建议......

标签： pythonpysparksalesforce

Answer 1

您是否有机会query_all从simple_salesforce使用？如果是这样，您可以尝试query_more或query_all_iter改为让您的脚本不会尝试将所有内容加载到单个 Python 列表中。

简单的 Salesforce 文档在这里。