jupyter-notebook - 使用射线时死内核

Question

我尝试使用 ray 来抓取一些数据。

我在使用 ray 之前的原始代码如下，并且运行良好。

def download(n):

    #download nth data

    return downloaded_data

我使用 ray 参考 ray 教程，这使我的内核死了：

@ray.remote
def download(n):
    #download nth data
    return downloaded_data

ray.init(num_cpus = 4)
total_data = ray.get([download.remote(x) for x in range(4000)])

我通过 jupyter 和 spyder 尝试了代码，但在这两种情况下内核都死了。

我不认为原因是内存不足。它不会使用太多内存。

可能的原因是什么？

标签： jupyter-notebookmultiprocessingspyderraymultiple-processes