python - 如何使用 Jupyter 笔记本将 txt 文件插入 sklearn

Question

我正在尝试通过 txt 文件将巨大的数据集加载到 sklearn 系统中。或者有没有简单的上传方法

标签： pythonscikit-learnsklearn-pandas

Answer 1

你读它有什么问题？作为一般建议，您可以使用块来阅读它：

chunksize = 10000
for chunk in pd.read_csv(filename, chunksize=chunksize):
    # do whatever you suppose to

为您的 PC 配置正确指定 chunksize 参数。您可以阅读此问题以获取更多选项。