时间戳

首页 > 解决方案 > 使用 keras 预训练 vgg16 的感知损失，输出图像颜色不正确

python - 使用 keras 预训练 vgg16 的感知损失，输出图像颜色不正确

问题描述

我是深度学习和 keras 的新手。我正在尝试使用 keras 训练具有感知损失的 Unet。我的输出图像颜色有问题。我的输入图像是彩色图像（RGB）。

如果我不对输入图像进行预处理，这意味着输入是 0~255 的 RGB。输出如下： output image(RGB with 0~255) 它比标签图像暗。

而且我发现预训练的 vgg16 模型使用的是“caffe”权重。并且函数keras.applications.vgg16.preprocess_input会将 RGB 更改为 BGR 并减去平均值。所以我尝试使用keras.applications.vgg16.preprocess_input然后通过添加平均值然后变回 RGB 来处理输出图像。但是输出图像太白了： output image(vgg16.preprocess_input)

然后我以比率添加 MSE 损失 -> 10:1（感知损失：MSE）输出与 输出图像没有什么不同（vgg16.preprocess_input）

我想知道这是感知损失的常见问题还是我的代码有问题？

这是我的代码

预处理图像：

img = load_img(datapath, grayscale = False)
img = img.resize( (resize_size, resize_size), Image.BILINEAR )
img = img_to_array(img)
img = preprocess_input(img)

处理图像：

mean = [103.939, 116.779, 123.68]
img[..., 0] += mean[0]
img[..., 1] += mean[1]
img[..., 2] += mean[2]
img = img[..., ::-1]

知觉损失：

def perceptual_loss(y_true, y_pred): 
    vgg = VGG16(include_top=False, weights='imagenet', input_shape=(resize_size, resize_size, 3)) 
    loss_model = Model(inputs=vgg.input, 
    outputs=vgg.get_layer('block3_conv3').output) 
    loss_model.trainable = False
    return K.mean(K.square(loss_model(y_true) - loss_model(y_pred)))

如果您有任何想法，请告诉我。非常感谢！！！

标签： pythonkerasdeep-learning

解决方案

“你的”模型的输出与任何关于 VGG、caffe 等的东西都没有关系。

当您创建模型时，是“您”定义它。

因此，如果您的模型的输出必须介于 0 和 255 之间，一种可能性是将其最后一层设置为：

Activation('sigmoid')   
Lambda(lambda x: x*255)

然后，您需要preprocess_input在感知损失中使用该函数：

def perceptual_loss(y_true, y_pred): 
    y_true = preprocess_input(y_true)
    y_pred = preprocess_input(y_pred)
    vgg = VGG16(include_top=False, weights='imagenet', input_shape=(resize_size, resize_size, 3)) 
    loss_model = Model(inputs=vgg.input, 
    outputs=vgg.get_layer('block3_conv3').output) 
    loss_model.trainable = False
    return K.mean(K.square(loss_model(y_true) - loss_model(y_pred)))

另一种可能性是对模型的输出进行后处理。（但同样，输出的范围完全由您定义）。

推荐阅读