azure-databricks - 是否可以在数据块增量表的同一列中存储 2 种不同的结构类型？

Question

我正在接收需要加载到一个表中的多个 XML 文件。这些 XML 文件对于特定列具有不同的结构类型。我想知道这个列是否可以以某种方式存储在数据块表的同一列中。请参阅下面我为同一列 col1 获得的不同结构类型。在 file1 col1 是 struct 和 col1a 是 struct 和 col1a1，col1a2..是 file2 的字符串类型 col1 是一个结构类型，但底层 col1b 和 col1c 是字符串类型。

文件 1 ： col1 col1a col1a1 col1a2 。. col1b

文件 2： col1 col1b col1c

标签： azure-databricksdeltaapache-spark-xml

Answer 1

分别读取两个 xml，然后根据您对各个数据帧的选择将 2 col 的数据类型转换为字符串或结构。最后对两个数据帧进行联合。