时间戳

首页 > 解决方案 > 如何遍历一次发送 1000 条记录的数据帧，直到达到总共 30K 条记录

python - 如何遍历一次发送 1000 条记录的数据帧，直到达到总共 30K 条记录

问题描述

我有一个 30K 记录数据框，我通过 API 调用传递它以获取数据验证。一次调用所有 30K 会破坏 Python 内核；有没有办法让 for 循环一次循环遍历我的整个数据帧 1000 条记录？

这就是我提取 1000 条记录的方式：

df1, errors = extract_data(df=data1, limit=1000, timeout=60)
df1

extract_data是一个函数，我可以在其中限制发送到 API 调用的记录，在本例中将其限制为 1K。

但我想要这样的东西：

LIMIT = 1000
for index in data1.iterrows():
    df1, errors = extract_data(df=data1, limit=1000, timeout=60)
    if LIMIT == index, break

标签： pythonfor-loopiteratorbatching

解决方案

iloc是你的朋友：

for index in range(0, 30):
    df.iloc[index * 1000: (index + 1) * 1000]

推荐阅读