时间戳

首页 > 解决方案 > 如何使用 spark-xml 包使用 XSD 解析 XML？

apache-spark - 如何使用 spark-xml 包使用 XSD 解析 XML？

问题描述

我试图通过提供 XSD 模式来解析简单的 XML。使用这里给出的方法。

https://github.com/databricks/spark-xml#xsd-support

XML 在这里：

<?xml version="1.0"?>  
<beginnersbook>
 <to>My Readers</to>
 <from>Chaitanya</from>
 <subject>A Message to my readers</subject>
 <message>Welcome to beginnersbook.com</message>
</beginnersbook>

XSD 在这里：

<?xml version="1.0"?>
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema"
targetNamespace="https://www.beginnersbook.com"
xmlns="https://www.beginnersbook.com"
elementFormDefault="qualified">

<xs:element name="beginnersbook">
  <xs:complexType>
    <xs:sequence>
      <xs:element name="to" type="xs:string"/>
      <xs:element name="from" type="xs:string"/>
      <xs:element name="subject" type="xs:string"/>
      <xs:element name="message" type="xs:string"/>
    </xs:sequence>
  </xs:complexType>
</xs:element>

</xs:schema>

我正在尝试阅读此 XSD 并尝试构建如下所示的架构。

import com.databricks.spark.xml.util.XSDToSchema
import java.nio.file.Paths
val schemaParsed = XSDToSchema.read(Paths.get("<local_linux_path>/sample_file.xsd"))
print(schema)

这里模式成功解析。接下来我正在阅读如下的 XML 文件。

val df = spark.read.format("com.databricks.spark.xml").schema(schemaParsed).load("<hdfs_path>/sample_file.xml")

在这一步之后，我可以使用 df.printSchema() 显示 Dataframe 的模式，但是如果我给 df.show() 内容就会变成空的

请指导我在这里做错了什么。

提前致谢。

标签： apache-sparkapache-spark-xml

解决方案

对于那些来这里寻找答案的人，您可以使用在线 XSD/XML 验证器之类的工具来找出在针对您的架构解析 XML 样本时出现的错误。

在这种情况下，targetNamespace="https://www.beginnersbook.com"XSD 中没有在 XML 中使用相应的命名空间会导致问题。该问题可以通过从 XSD 中删除目标名称空间或修改 XML 以使用目标名称空间来解决。XSD 修改是直截了当的 - 只需将其删除。XML 修改的简单形式可能如下所示：

<?xml version="1.0"?>  
<beginnersbook
    xmlns="https://www.beginnersbook.com">
 <to>My Readers</to>
 ...

推荐阅读