python - 使用 chunksize pandas 查找列的唯一元素

Question

给定一个样本（！）数据框：

test = 

time  clock
1     1
1     1
2     2
2     2
3     3
3     3

---

我试图用 pandas chunksize 做一些操作：

for df in pd.read_csv("...path...",chunksize = 10):
    time_spam = df.time.unique()
    detector_list = df.clock.unique()

---

但它让我可以操作 chunsize 的长度。如果是 10，那么只给我 10 行。

PS 是样本数据

标签： pythonpandasnumpy

Answer 1

请试试：

for df in pd.read_csv("...path...",chunksize = 10, iterator=True):
    time_spam = df.time.unique()
    detector_list = df.clock.unique()

您需要使用iterator此处描述的标志：

https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#io-chunking