python - 用 dask 读取列数据
问题描述
我有列数据,目前使用 numpy.loadtxt(filename,usecols=[0,1,2,3],dtype=float)
. 当文件大小不是很大时,这可以正常工作。目前,数据文件大约50GB,numpy.loadtxt()
耗时太长。
有没有更有效的方法来读取这些数据dask
,然后将其转换为 numpy 数组?
PS:我之前没用过dask。
解决方案
推荐阅读
- c# - C# 私有类 MyColors
- javascript - 不能在反应中使用 useState 或 useEffect 我还有什么?
- python-3.x - 在 ubuntu 20.4 中安装 pgadmin 4 时出错
- excel - Excel的重复乘法公式
- node.js - AutoTask Rest API 队列查询
- flutter - 在上传 onFlutter 之前显示文件选择的结果(我使用 file_picker 插件)
- javascript - 无法在 json axios 请求中打印新行
- node.js - EACCES:权限被拒绝,在 Elastic Beanstalk AWS 上打开“/var/app/current/node_modules/puppeteer/.local-chromium/chrome-linux.zip”
- sql - 有效地在 bigquery 中创建矩阵
- java - 在 Java 中保存和加载数据