时间戳

首页 > 解决方案 > 使用pyarrow读取保存为镶木地板的DataFrame，将文件名保存在列中

python - 使用pyarrow读取保存为镶木地板的DataFrame，将文件名保存在列中

问题描述

我想阅读一个文件夹，里面装满了包含 pandas DataFrames 的镶木地板文件。除了我正在读取的数据之外，我还想将从中读取数据的文件名存储在“file_origin”列中。在熊猫中，我可以这样做：

import pandas as pd
from pathlib import Path

data_dir = Path("path_of_folder_with_files")
df = pd.concat(
                pd.read_parquet(parquet_file).assign(file_origin=parquet_file.name)
                for parquet_file in data_dir.glob("*")
            )


不幸的是，这很慢。有没有类似的方法可以用 pyarrow （或任何其他有效的包）来做到这一点？

import pyarrow.parquet as pq

table = pq.read_table(data_dir, use_threads=True)
df = table.to_pandas()

标签： pythonpandaspyarrow

解决方案

您可以使用箭头而不是熊猫来实现它：

batches = []
for file_name in data_dir.glob("*"):
    table = pq.read_table(file_name)
    table = table.append_column("file_name", pa.array([file_name]*len(table), pa.string()))
    batches.extend(table.to_batches())
return pa.Table.from_batches(batches)

我不认为它会明显更快，除非你的表中有很多字符串和对象（在熊猫中很慢）。

推荐阅读