时间戳

首页 > 解决方案 > 如何从 Azure Data Lake Gen2 访问 XML 文件并将其转换为 Azure Databricks 中的数据框？

python-3.x - 如何从 Azure Data Lake Gen2 访问 XML 文件并将其转换为 Azure Databricks 中的数据框？

问题描述

我们需要访问位于 Azure Data Lake Gen2 中的 XML 文件并将其转换为如下所示的数据框。

示例 XML 数据：

<SOAP-ENV:Envelope
   xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/">

<SOAP-ENV:Body>
           <ns2:getProjectsResponse
               xmlns:ns2="http://www.logic8.com/eq/webservices/generated">
               <ns2:Project>
                   <ns2:fileName>P10001</ns2:fileName>
                   <ns2:alias>project1</ns2:alias>
               </ns2:Project>
               <ns2:Project>
                   <ns2:fileName>P10002</ns2:fileName>
                   <ns2:alias>project2</ns2:alias>
               </ns2:Project>
       <ns2:Project>
                   <ns2:fileName>P10003</ns2:fileName>
                   <ns2:alias>project3</ns2:alias>
               </ns2:Project>
           </ns2:getProjectsResponse>
       </SOAP-ENV:Body>
   </SOAP-ENV:Envelope>

预期的数据框输出：

在此处输入图像描述

谁可以帮我这个事。

标签： python-3.xazure-functionsazure-data-lakeazure-databricks

解决方案

首先，您需要学习从 Azure Data Lake Gen2 读取数据到 Azure databricks。

有很多教程可以学习：

  1. Databricks：从 Blob 存储导入数据。这篇博文是关于将数据从 Blob 存储导入 Azure Databricks。
  2. Databricks Azure Blob 存储：本文介绍了如何通过使用 DBFS 或直接使用 API 挂载存储来访问 Azure Blob 存储。

其次，关于 xml 数据类型，您需要使用@Axel R 在评论中提供的databricks spark-xml 库。

  1. 将 spark-xml 库导入您的工作区 https://docs.databricks.com/user-guide/libraries.html#create-a-library （在 maven/spark 包部分搜索 spark-xml 并导入它）
  2. 将库附加到您的集群 https://docs.databricks.com/user-guide/libraries.html#attach-a-library-to-a-cluster
  3. 使用笔记本中的以下代码读取 xml 文件，其中“note”是 xml 文件的根。

xmldata = spark.read.format('xml').option("rootTag","note").load('dbfs:/mnt/mydatafolder/xmls/note.xml')

请参考：<a href="https://stackoverflow.com/questions/52728741/how-can-i-read-a-xml-file-azure-databricks-spark">如何读取 XML 文件 Azure Databricks火花。

结合这些文件，我想你可以找出你的问题。我对 Azure Databricks 了解不多，很抱歉无法为您进行测试。

希望这可以帮助。

推荐阅读