时间戳

首页 > 解决方案 > 如何使用python 2.7或更低版​​本读写parquet文件

python - 如何使用python 2.7或更低版​​本读写parquet文件

问题描述

我想阅读 -> 更新 -> 使用 python 2.7 或更低版本编写镶木地板文件。面临与包裹相关的问题。请让我知道做同样事情的正确方法。

标签： pythonautomationparquet

解决方案

您可以使用pyarrowPython 2.7 读取 Parquet 文件，请参阅https://arrow.apache.org/docs/python/parquet.html请注意，没有适用于 Windows 的 Python 2.7 轮子。您要么需要在conda那里使用，要么切换到 Linux / OSX。

阅读 Parquet 文件：

import pyarrow.parquet as pq
table = pq.read_table("file.parquet")
# Optionally convert to Pandas DataFrame
df = table.to_pandas()

编写 Parquet 文件：

import pyarrow as pa
import pyarrow.parquet as pq

# If your input data is a Pandas DataFrame, we need to convert it to an Arrow table first.
table = pa.Table.from_pandas(df)
pq.write_table(table, "filename.parquet")

推荐阅读