首页 > 解决方案 > 有没有直接的方法将 Dask 数据帧转换为 Xarray 数据集?

问题描述

Xarray 和 Dask 文档解释了如何使用 Dask 支持将大型 NetCDF 数据集加载到 Xarray 中。但是如果我有一个非常大的CSV 文件(> 1GB)怎么办?是否可以通过 Dask 将其加载Xarray 数据集中?是以参与 Dask 后端的方式将其加载到 Xarray 中,还是将其加载为 Dask 数据帧并将该数据帧转换为 Xarray 数据集?

我想将此数据集与 Xarray 一起使用,因为它由实验结果组成,并且我想根据自变量的不同设置(我将用作维度)对实验结果进行索引。

Xarray 的from_dataframe()http://xarray.pydata.org/en/stable/generated/xarray.Dataset.from_dataframe.html?highlight=from_dataframe)只提到支持 Pandas DataFrames,没有提到 dask。

Dask 文档 ( https://examples.dask.org/xarray.html ) 仅描述了从保存的 Xarray 数据集加载。

标签: daskpython-xarraydask-dataframe

解决方案


推荐阅读