首页 > 解决方案 > 转换大型数据集,使其沿不同维度拆分为文件?

问题描述

我有一个大型数据集(~200gb)的数据,其中每个 csv 文件都包含一个时间点的整个区域的数据。转换它以使每个文件包含整个时间段内一个网格点的数据的最快方法是什么?理想情况下,每个文件最终都会作为一维压缩 npz 文件。

标签: python

解决方案


推荐阅读