首页 > 解决方案 > 我可以在级联 CNN 中使用 Grad-CAM 等方法生成热图吗?

问题描述

我正在尝试将 GradCAM 应用于我的预训练 CNN 模型以生成层的热图。我的自定义 CNN 设计如下所示: - 它采用了所有卷积层和来自 VGG16 模型的预训练权重。- 从 VGG16 中提取较低级别的特征(早期卷积层)。- 从 VGG16 训练正常/高级和低级特征的全连接层。- 连接正常/高级和低级 fc 层的输出,然后在最终预测之前训练更多 fc 层。

模型设计

我想使用 GradCAM 来可视化低级路由和普通/高级路由的特征图,并且我已经使用最后一个卷积层在非连接微调 VGG 上完成了这样的热图。我的问题是,在串联的 CNN 模型上,Grad-CAM 方法是否仍然可以分别使用预测的梯度对低级和高级特征图特征图起作用?如果没有,是否有其他方法可以为这种模型进行热图可视化?使用共享的全连接层是一种选择吗?

非常感谢任何想法和建议!

标签: tensorflowkeraspytorchconv-neural-networkvisualization

解决方案


推荐阅读