pyarrow - 如何在 python 中使用 pyarrow 读取 csv 文件

Question

我已使用以下命令连接到我的 HDFS

import pyarrow as pa
import pyarrow.parquet as pq

fs = pa.hdfs.connect(self.namenode, self.port, user=self.username, kerb_ticket = self.cert)

我正在使用以下命令来读取镶木地板文件

fs.read_parquet()

但没有常规文本文件（例如 csv 文件）的读取方法。如何使用 pyarrow 读取 csv 文件。

标签： pyarrow

Answer 1

您需要创建一个类似文件的对象并直接使用 CSV 模块。见pyarrow.csv.read_csv