python - joblib：工人因超时或内存泄漏而停止

Question

我只使用基本的 joblib 功能：

Parallel(n_jobs=-1)(delayed(function)(arg) for arg in arglist)

我经常收到警告：

UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.

这告诉我一个可能的原因是工人超时时间太短。由于我没有设置工作超时并且默认为None，因此这不是问题。我该如何寻找内存泄漏？或者我可以做些什么来避免这个警告？有些部分没有被执行吗？还是我不应该担心这个？

标签： pythonmultiprocessingjoblib