python - 在数据块中并行化 Lime

Question

我正在尝试在 databricks 上并行化石灰框架，但无法这样做。我不知道如何，如果有人可以提供帮助，我如何发送对不同工人的每一个观察结果。

更明显的是来自石灰框架。

下面的代码：

 import lime 
 import lime.lime_tabular   
 explainer=
 lime.lime_tabular.LimeTabularExplainer(X_train,feature_names=train_columns,
        class_names=['look_forward_Repatha'],verbose=True,
                                               mode='regression')
 --------------------------------
def calculate_in_parallel(line):
  test_nparray = np.array(line)
  exp = explainer.explain_instance(test_nparray,xgb_model.predict, 
  num_features=30)
  return exp.as_list()

test_rdd = sc.parallelize(df_pred_X_test_skew_nohighcoll.values)
test_rdd = test_rdd.map(calculate_in_parallel)
test_rdd = test_rdd.collect()

标签： pythonapache-sparkparallel-processinglime