时间戳

首页 > 解决方案 > MemoryError：在python中使用word2vec时无法分配形状和数据类型为float32的数组

python - MemoryError：在python中使用word2vec时无法分配形状和数据类型为float32的数组

问题描述

我正在尝试从 Wikipedia 文本数据中训练 word2vec 模型，因为我正在使用以下代码。

import logging
import os.path
import sys
import multiprocessing

from gensim.corpora import  WikiCorpus
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence


if __name__ == '__main__':
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)

    logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))

    # check and process input arguments

    if len(sys.argv) < 3:
        print (globals()['__doc__'])
        sys.exit(1)
    inp, outp = sys.argv[1:3]

    model = Word2Vec(LineSentence(inp), size=400, window=5, min_count=5, workers=multiprocessing.cpu_count())

    # trim unneeded model memory = use (much) less RAM
    model.init_sims(replace=True)

    model.save(outp)

但程序运行 20 分钟后，出现以下错误

错误信息

标签： pythonmultiprocessingpython-multiprocessinggensimword2vec

解决方案

理想情况下，您应该将错误文本粘贴到问题中，而不是屏幕截图。但是，我看到了两条关键线：

<TIMESTAMP> : INFO : estimated required memory for 2372206 words and 400 dimensions: 8777162200 bytes
...
MemoryError: unable to allocate array with shape (2372206, 400) and data type float32

在对您的语料库进行一次遍历后，该模型已经知道有多少独特的单词可以存活，这报告了必须分配多大的模型：一个大约8777162200 bytes（大约 8.8GB）。但是，当尝试分配所需的向量数组时，您会得到一个MemoryError，这表明没有足够的计算机可寻址内存 (RAM) 可用。

您可以：

  1. 在有更多内存的地方运行，也许通过向现有系统添加 RAM；或者
  2. 减少所需的内存量，主要是通过减少您要训练的唯一词向量的数量或其维度大小。

min_count=5您可以通过将默认参数增加到类似min_count=10ormin_count=20或来减少单词的数量min_count=50。（您可能不需要超过 200 万个词向量 - 只需几万个词的词汇表就可以获得许多有趣的结果。）

您还可以设置一个max_final_vocab值，以指定要保留的唯一单词的确切数量。例如，max_final_vocab=500000将只保留 500000 个最常用的单词，而忽略其余的。

减少size也将节省内存。的设置size=300对于词向量很流行，并且会减少四分之一的内存需求。

总之，使用size=300, max_final_vocab=500000应该将所需的内存减少到 2GB 以下。

推荐阅读