arrays - Sagemaker：MemoryError：无法为形状为 ___ 且数据类型为 float64 的数组分配 ___

Question

我在 sagemaker 中运行一个笔记本，似乎在对文本进行矢量化后生成的数组之一导致了问题。

阅读其他答案似乎是overcommit的问题。提出的解决方案之一是将其设置为始终过度使用：

$ echo 1 > /proc/sys/vm/overcommit_memory

是否有任何文档或您对如何在 sagemaker 中做同样的事情有任何建议？

非常感谢。

标签： arrayspython-3.xpandasmemoryamazon-sagemaker

Answer 1

打开一个root shell sudo -i，然后运行echo 1 > /proc/sys/vm/overcommit_memory