首页 > 解决方案 > 用 dask 读取列数据

问题描述

我有列数据,目前使用 numpy.loadtxt(filename,usecols=[0,1,2,3],dtype=float). 当文件大小不是很大时,这可以正常工作。目前,数据文件大约50GB,numpy.loadtxt()耗时太长。
有没有更有效的方法来读取这些数据dask,然后将其转换为 numpy 数组?

PS:我之前没用过dask。

标签: pythonpandasnumpydask

解决方案


推荐阅读