footer - 镶木地板页脚规范

Question

是否有详细的 Parquet 页脚规范？当我以编程方式将数据转换为 Parquet 时，我看到 Parquet 页脚变得非常大。我意识到它有块偏移和块的最小/最大值，但那里似乎有更多信息。了解更多页脚设计可以让我在块大小、块数和页脚大小方面做出权衡。谢谢，马克

标签： footerparquet

Answer 1

parquet 文件格式是使用parquet-format github 存储库中的thrift指定的。自述文件的元数据部分还显示了结构的图形概述。

此结构中不应有任何大量数据，但页脚还可以包含额外的任意key_value_metadata对。这通常用于以文本格式存储原始模式，例如 avro，并且可能会增加几千字节。