时间戳

首页 > 解决方案 > 无法从 pandas 转到 dask 数据帧，内存错误

python - 无法从 pandas 转到 dask 数据帧，内存错误

问题描述

我有一个包含 700 万条记录的 pandas 数据框，我正在尝试创建一个 dask 数据框，但我一直遇到内存问题。

使用的代码：

dd_test = dd.from_pandas(df_lookup_table, npartitions=3)

错误信息：

Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "C:\Users\user\venv\lib\site-packages\dask\dataframe\io\io.py", line 181, in from_pandas
    name = name or ('from_pandas-' + tokenize(data, chunksize))
  File "C:\Users\user\venv\lib\site-packages\dask\base.py", line 600, in tokenize
    return md5(str(tuple(map(normalize_token, args))).encode()).hexdigest()
  File "C:\Users\user\venv\lib\site-packages\dask\utils.py", line 413, in __call__
    return meth(arg, *args, **kwargs)
  File "C:\Users\user\venv\lib\site-packages\dask\base.py", line 710, in normalize_dataframe
    return list(map(normalize_token, data))
  File "C:\Users\user\venv\lib\site-packages\dask\utils.py", line 413, in __call__
    return meth(arg, *args, **kwargs)
  File "C:\Users\user\venv\lib\site-packages\dask\base.py", line 734, in normalize_array
    x.flat]))
MemoryError

我能够使用较小的数据框创建一个 dask 数据框。如何从这个 pandas 数据框创建一个 dask 数据框？

标签： pythonpandasdaskdask-distributed

解决方案

dask 的重点是能够处理不适合内存的数据。在这种情况下，您首先将数据集加载到内存中，然后再将其传递给 dask。相反，您应该使用 dask 直接加载数据。例如，如果您使用pandas.read_csv，则应将其切换为dask.dataframe.read_csv。

推荐阅读