时间戳

首页 > 解决方案 > 如何在 TensorFlow 中计算类激活图？

tensorflow - 如何在 TensorFlow 中计算类激活图？

问题描述

我了解类激活图的定义以及如何在 Numpy 中生成它。但是，我不确定如何在 TensorFlow 中计算它，尤其是在 batch_size 维度未知的情况下。

目前，我已经获得了我最后一个卷积层“激活”的激活。GAP之后最后一个全连接层的权重矩阵是“last_fc_w”。

我想像这样计算类激活图：

cam = tf.matmul(activation, last_fc_w)

但是，我收到以下错误：*** ValueError: Shape must be rank 2 but is rank 4 for 'MatMul' (op: 'MatMul') with input shapes: [?,10,10,576], [576,2] .

激活张量的形状为 [?,10,10,576]，其中 ? 是 batch_size 维度。全连接层权重的形状为[576, 2]，其中2是类数，576是最后一个卷积层的通道数。

预期的输出将是一个大小为 [?, 10,10,2] 的张量，这是这两个类的类激活图。任何人都可以就如何实现这一目标提供一些指导吗？

标签： tensorflowdeep-learningcomputer-visionconv-neural-network

解决方案

你可以试试keras.backend.dot

import tensorflow as tf
import numpy as np
x = tf.placeholder(shape=[None, 32, 32, 3], dtype=tf.float32)
out = tf.keras.layers.Conv2D(576, (3,3), padding='same', activation='relu')(x)
w = tf.Variable(tf.glorot_normal_initializer()([576, 2]))
print(out.shape)
cam = tf.keras.backend.dot(out, w)
print(cam.shape)

但在更高的 TF 版本（针对 1.15.0 测试）中，您现有的代码将可以工作。我测试了以下代码。

import tensorflow as tf
import numpy as np
x = tf.placeholder(shape=[None, 32, 32, 3], dtype=tf.float32)
out = tf.keras.layers.Conv2D(576, (3,3), padding='same', activation='relu')(x)
w = tf.Variable(tf.glorot_normal_initializer()([576, 2]))
print(out.shape)
cam = tf.matmul(out, w)
print(cam.shape)

从激活图创建掩码

简单的！

threshold = 0.5
mask = tf.cast(tf.less(cam, threshold), tf.float32) * cam

推荐阅读