时间戳

首页 > 解决方案 > 运行 joblib.Parallel(mlxtend) 不能在 cloud-ml 中扩展

parallel-processing - 运行 joblib.Parallel(mlxtend) 不能在 cloud-ml 中扩展

问题描述

我正在使用该mlxtend库运行作业。特别sequential_feature_selector是使用joblib.Parallel source并行化的那个。当我在本地计算机上运行包时，它使用所有可用的 CPU，但是当我将作业发送给cloud-ml它时，它只使用一个内核。n_jobs我在参数中输入的数字是多少并不重要。我也尝试过使用不同的机器类型，但同样的事情发生了。有谁知道问题可能是什么？

标签： parallel-processinggoogle-cloud-mljoblib

解决方案

对于任何可能感兴趣的人，我们解决了将sklearn版本修复setup.py到0.20.2. 我们之前有sklearn包，但没有版本。

#setup.py
from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['joblib==0.13.0',
                     'scikit-learn==0.20.2',
                     'mlxtend']

推荐阅读