jupyter-notebook - 构建 Stanza Document 时内存不足

Question

系统规格： - 设备：- NVIDIA Jetson AGX Xavier [16 GB] - Jetpack 4.5.1 8 核 CPU RAM：- 32 GB 管道看起来像

nlp = stanza.Pipeline('en', use_gpu=True, batch_size=100, tokenize_batch_size = 32, pos_batch_size = 32, , depparse_batch_size = 32)

doc = nlp(corpus)

我正在尝试使用处理器构建一个 Stanza 文档：- tokenizer、pos、depparse、error、sentiment、ner；在使用大约 300MB 的 txt 数据集来构建 Stanza 文档时，我的内存 (RAM) 不足，然后 jupyter notebook 停止并且内核死亡，即使有 100MB 的数据内核也会死亡。（我尝试过使用更高的批次大小，甚至更低，但问题仍然存在）

标签： jupyter-notebookout-of-memorystanford-nlpnvidia-jetson