时间戳

首页 > 解决方案 > 多处理支持的并行循环不能嵌套在线程下，设置 n_jobs=1

python - 多处理支持的并行循环不能嵌套在线程下，设置 n_jobs=1

问题描述

我开发了一个 Python 脚本，它基本上读取一个 excel 文件并使用 sklearns GridSearchCV 训练一个模型，使用以下n_jobs语句：

def create_table():
    my_model = GridSearchCV(GradientBoostingRegressor(), tuned_parameters, cv=5, scoring='neg_mean_absolute_error', n_jobs=7)
    my_model.fit(x_data, y_data)
    return(my_model.predict(new_x_data))

这在执行时非常有效。但现在我试图通过在 Dash 应用程序中单击按钮来执行它

Multiprocessing backed parallel loops cannot be nested below threads, setting n_jobs=1

我的 Dash 应用程序是这样的：

def generate_html_table(dataframe, max_rows=50):
    return html.Table(
    # Header
    [html.Tr([html.Th(col) for col in dataframe.columns])] +

    # Body
    [html.Tr( [html.Td(dataframe.index[i])] + [html.Td(dataframe.iloc[i][col]) for col in dataframe.columns]) for i in range(min(len(dataframe), max_rows))]
    )

app = dash.Dash()
app.layout = html.Div([
    html.H1(children='Region Forecast',
        style={'textAlign': 'center'} ),
    html.Button(id='submit-button', n_clicks=0, children='Submit',
            style={ 'margin': 'auto',
                    'display': 'block' }),
    html.Table(id='output-table', children = generate_html_table(pd.DataFrame()))
    ])

@app.callback(Output('output-table', 'children'),
        [Input('submit-button', 'n_clicks')])

def reactive_compute(n_clicks):
    print('inside reactive compute')
    my_table = create_my_table()
    return(generate_html_table(my_table))

if __name__ == '__main__':
    app.run_server(debug=True)

我见过这个问题，但它对我没有帮助，因为我自己不处理多处理（它是 scikitlearn 函数）：Multiprocessing backed parallel loops cannot be nested below threads

该应用程序只能在本地运行，我不打算将它放在网络服务器上。

我可以从 Dash 应用程序中保持并行模型拟合吗？如果可能的话，我应该如何最好地解决这个问题？

标签： pythonscikit-learnplotly-dash

解决方案

你在使用 Windows 吗？我在 Windows 上遇到了完全相同的问题，所以我尝试在 Ubuntu 中运行该应用程序，它运行良好。

如果您不想弄乱虚拟机或实际正确安装它，您现在可以从 Microsoft Store 在 Windows 上安装 Linux shell。它非常适合测试和开发。

编辑： GridSearchCV 似乎可以处理它，但是当我自己运行回归器时，我仍然遇到这个错误。

编辑 2：GridSearchCV 正在使用所有线程，但仅将它们加载到 10-20%。使用 gunicorn 运行应用程序可以解决这个问题。

gunicorn my_app:server

将以下内容添加到 my_app.py 中：

server = app.server

推荐阅读