parquet - 如何在非 Hadoop 环境中对 Paraquet 文件运行分析

Question

我们正在生成 Parquet 文件，在非 hadoop 环境中使用 apache Nifi。我们需要对 Parquet 文件进行分析。

除了使用 Hive、Spark 等 Apache 框架外，我们是否有任何开源 BI 或可以读取 Parquet 文件的报告工具，或者是否有任何其他解决方法。在我们的环境中，我们有 Jasper 报告工具。

任何建议表示赞赏。谢谢。

标签： parquet

Answer 1

您可以在 Python 中轻松处理 Parquet 文件：

• 要读/写 Parquet 文件，您可以使用pyarrow或fastparquet。
• 要分析数据，您可以使用Pandas（它甚至可以使用前一项在幕后提到的实现之一读取/写入Parquet 本身）。
• 要获得一个不错的交互式数据探索环境，您可以使用Jupyter Notebook。

所有这些都在非 Hadoop 环境中工作。