apache-spark - Code to connect to Sharepoint from PySpark

Question

I want to extract SharePoint List data using PySpark. I am not sure about the Sharepoint list data and storage. I want to read the SharePoint list data as a PySpark data frame.

I have tried Python Libraies: Sharepy Slum Sharepoint and many others

标签： apache-sparksharepointpysparksharepoint-onlineconnector

Answer 1

假设您使用的是 databricks 中的 pyspark，我使用的是不同的方法。我正在使用 office 365 powerautomate 流将共享点列表存储在 azure 数据存储中作为 csv 文件。这些流程可以通过在 python 中调用电源自动化的 http 触发器从数据块中调用，或者您可以在数据更改发生时自动更新电源自动化。然后可以将 csv 文件挂载为 sql 分析中的表，并在数据块中轻松使用。好处是微软提供了易于使用的无代码解决方案来将 sharpoint 导出到 azure 存储，它还可以处理所有的安全细微差别。