python - 我可以过滤镶木地板吗？

Question

我刚开始查看镶木地板文件，因为我的一些数据以这种格式可用。而且我以前没有真正玩过它，所以这是我的问题。

我像这样打开我的镶木地板文件：

import pyarrow.parquet as pq

table1 = pq.read_table('mydatafile.parquet')

该文件由 10 列组成。现在是否可以直接从这里过滤掉所有行，例如 column3 的值为 1？

我的意思是，我可以这样做：

df = table1.to_pandas()
df = df[df["column3"] != 1] 

但这可以在本地完成，而无需先转换为 Pandas 数据框吗？

标签： pythonparquet

Answer 1

您可以使用文档中的此语法

import pyarrow.parquet as pq

table1 = pq.read_table('mydatafile.parquet', filters = [('column3',  '!=' , 1)])

来源：

使用谓词过滤 pyarrow.parquet.ParquetDataset 中的行