时间戳

首页 > 解决方案 > AI Platform Notebooks：MemoryError：无法为阵列分配 1.16 GiB - GCP 中有 100 个磁盘空间

pandas - AI Platform Notebooks：MemoryError：无法为阵列分配 1.16 GiB - GCP 中有 100 个磁盘空间

问题描述

我正在尝试使用 100 GB 磁盘和 15GB RAM 虚拟机在 GCP AI Platform 中加载 1 GB Pandas Dataframe，但出现以下错误：

MemoryError: Unable to allocate 1.16 GiB for an array with shape (20, 7762852) and data type object

您知道为什么虚拟机是 100 GB 磁盘用于 15 GB RAM 时分配不执行吗？

df_event = pd.concat([pd.read_csv(os.getcwd() + '/data/lead_inscrit_train.csv.gz',
                     compression='gzip',
                     sep=';',
                     quotechar='"',
                     quoting=csv.QUOTE_ALL,
                     dtype=str,
                     parse_dates=["date"]
                    ),
                  pd.read_csv(os.getcwd() + '/data/lead_inscrit_test.csv.gz',
                     compression='gzip',
                     sep=';',
                     quotechar='"',
                     quoting=csv.QUOTE_ALL,
                     dtype=str,
                     parse_dates=["date"]
                    )]
                , axis=0)

标签： pandasgcp-ai-platform-notebook

解决方案

推荐阅读