python - 在 Python 脚本上导入海量数据

Question

我正在尝试每天将 txt 文件作为熊猫导入。但是我遇到了问题，因为它有数百万个数据，所以加载需要很长时间。我只需要 2021 年 7 月以后的数据，但我有 2018 年以来的数据。任何人都可以帮助我如何用我需要的数据更快地加载它？

# load data that takes forever since it reads the millions of rows
basepath = r'\\SERVER\folder\file.TXT'
df = pd.read_csv(basepath, sep=';',  error_bad_lines=False, header=None)
df.head()

我不太确定块选项，如果它会得到我需要的正确数量，因为每天都会添加数据。

标签： pythondatabasescripting