pandas - 如何使用 Hadoop 维护其架构每季度更改一次的历史数据

Question

我有存储调查数据（来自客户的反馈）的 json 输入文件。

• json 文件中的列可能会有所不同

  例如，第一季度可以有 70 列，下一季度可以有 100 列，依此类推。

• 我想将所有这些季度数据存储在 hdfs 上的同一张表中。

有没有办法通过删除并重新创建具有更改架构的表来维护历史记录？

如果列长度下降，它将如何表现让我们说在第三季度我们只有 30 列。

标签： pandasapache-sparkhadooptalend

Answer 1

第一点是，在 HDFS 中，您不仅存储表，还存储文件。您在文件顶部的 hive impala 等中创建表。

某些格式支持在读取时合并模式，例如parquet 通常，您将能够使用超集列重新创建表。在 Impala 中，您具有类似的模式演变能力。