python - 具有 3D 输入和 3D 输出的序列模型的 SHAP 解释器

Question

我在 Keras (Tensorflow 2.2.0) 中有一个顺序二进制分类模型，它接受形状 (n_samples, n_timesteps, n_features) 的输入并提供形状 (n_samples, n_timesteps, 1) 的输出。我正在尝试将此模型与SHAP GradientExplainer一起使用。

我以这种方式遵循了他们的示例：

 import shap
 explainer = shap.GradientExplainer(Seq_Model, X_train_3D[:10])
 shap_values = explainer.shap_values(X_test_3D[:3])

但我收到此错误：

AssertionError: The model output must be a vector or a single value!

现在，我正在寻找一种方法来使用 SHAP GradientExplainer（或与此 TF 版本一起使用的任何其他类型的 SHAP 解释器），为具有 3D 输出的模型提供见解。任何帮助表示赞赏。

标签： pythontensorflowshap