python - Keras 中 VGG16 的输入层
问题描述
我正在构建一个 U-Net,我想将预训练模型 (VGG16) 用于解码器部分。
挑战在于我有灰度图像,而 VGG 使用 RGB。
我找到了一个将其转换为 RGB 的函数(通过连接):
from keras.layers import Layer
from keras import backend as K
class Gray2VGGInput(Layer):
"""Custom conversion layer"""
def build(self, x):
self.image_mean = K.variable(value=np.array([103.939, 116.779, 123.68]).reshape([1,1,1,3]).astype('float32'),
dtype='float32',
name='imageNet_mean' )
self.built = True
return
def call(self, x):
rgb_x = K.concatenate([x,x,x], axis=-1 )
norm_x = rgb_x - self.image_mean
return norm_x
def compute_output_shape(self, input_shape):
return input_shape[:3] + (3,)
但我无法将其插入模型。这Gray2VGGInput
是一个层,所以我正在寻找一种方法如何将这个层连接到来自 VGG 的层。以下是我的尝试:
def UNET1_VGG16():
'''
UNET with pretrained layers from VGG16
'''
def upsampleLayer(in_layer, concat_layer, input_size):
'''
Upsampling (=Decoder) layer building block
Parameters
----------
in_layer: input layer
concat_layer: layer with which to concatenate
input_size: input size fot convolution
'''
upsample = Conv2DTranspose(input_size, (2, 2), strides=(2, 2), padding='same')(in_layer)
upsample = concatenate([upsample, concat_layer])
conv = Conv2D(input_size, (1, 1), activation='relu', kernel_initializer='he_normal', padding='same')(upsample)
conv = BatchNormalization()(conv)
conv = Dropout(0.2)(conv)
conv = Conv2D(input_size, (1, 1), activation='relu', kernel_initializer='he_normal', padding='same')(conv)
conv = BatchNormalization()(conv)
return conv
img_rows = 864
img_cols = 1232
#--------
#INPUT
#--------
#batch, height, width, channels
inputs_1 = Input((img_rows, img_cols, 1))
inputs_3 = Input((img_rows, img_cols, 3))
#--------
#VGG16 BASE
#--------
#Prepare net
base_VGG16 = VGG16(input_tensor=inputs_3,
include_top=False,
weights='imagenet')
#----------------
#INPUT CONVERTER
#----------------
#This is the problematic part
vgg_inputs_3 = Gray2VGGInput(name='gray_to_rgb')(inputs_1)
model_input = Model(inputs=[inputs_1], outputs=[vgg_inputs_3])
new_outputs = base_VGG16(model_input.output)
new_inputs = Model(inputs_1, new_outputs)
#--------
#DECODER
#--------
c1 = base_VGG16.get_layer("block1_conv2").output #(None, 864, 1232, 64)
c2 = base_VGG16.get_layer("block2_conv2").output #(None, 432, 616, 128)
c3 = base_VGG16.get_layer("block3_conv2").output #(None, 216, 308, 256)
c4 = base_VGG16.get_layer("block4_conv2").output #(None, 108, 154, 512)
#--------
#BOTTLENECK
#--------
c5 = base_VGG16.get_layer("block5_conv2").output #(None, 54, 77, 512)
#--------
#ENCODER
#--------
c6 = upsampleLayer(in_layer=c5, concat_layer=c4, input_size=512)
c7 = upsampleLayer(in_layer=c6, concat_layer=c3, input_size=256)
c8 = upsampleLayer(in_layer=c7, concat_layer=c2, input_size=128)
c9 = upsampleLayer(in_layer=c8, concat_layer=c1, input_size=64)
#--------
#DENSE OUTPUT
#--------
outputs = Conv2D(1, (1, 1), activation='sigmoid')(c9)
model = Model(inputs=[new_inputs.input], outputs=[outputs])
#Freeze layers
for layer in model.layers[:16]:
layer.trainable = False
print(model.summary())
model.compile(optimizer='adam',
loss=fr.diceCoefLoss,
metrics=[fr.diceCoef])
return model
我收到以下错误:
ValueError: Graph disconnected: 无法在“input_14”层获取张量 Tensor("input_14:0", shape=(?, 864, 1232, 3), dtype=float32) 的值。访问以下先前层没有问题:[]
解决方案
我认为您不需要多个输入,而是将Gray2VGGInput
层输出作为VGG16
模型的输入传递。我认为你如何从VGG16
模型中获得输出张量是可以的。这是我可以建议的:
from keras.applications import VGG16
inputs_1 = Input(shape=(img_rows, img_cols, 1))
inputs_3 = Gray2VGGInput(name='gray_to_rgb')(inputs_1) #shape=(img_rows, img_cols, 3)
base_VGG16 = VGG16(include_top=False, weights='imagenet', input_tensor=inputs_3)
#--------
#DECODER
#--------
c1 = base_VGG16.get_layer("block1_conv2").output #(None, 864, 1232, 64)
c2 = base_VGG16.get_layer("block2_conv2").output #(None, 432, 616, 128)
c3 = base_VGG16.get_layer("block3_conv2").output #(None, 216, 308, 256)
c4 = base_VGG16.get_layer("block4_conv2").output #(None, 108, 154, 512)
#--------
#BOTTLENECK
#--------
c5 = base_VGG16.get_layer("block5_conv2").output #(None, 54, 77, 512)
...
... and so on
该模型可以称为
model = Model(inputs=inputs_1, outputs=outputs)
你可以试一试,让我知道它是否有效。我没有测试过,所以可能有错误。
推荐阅读
- postgresql - 如何在 Laravel 中获取日期列与当前日期的日期差异?
- python - Python/Kivy 中的 __init__ 参数
- sql - 如何在sql中的所有客户的单独列中查找最后一个和倒数第二个记录
- linux - “service apache2 reload”和“sudo systemctl restart apache2”有什么区别?
- batch-file - 如何仅复制文件夹中的目录及其内容并使用批处理排除 0 级文件?
- python - 子函数的 Python 装饰器
- routes - 环回应用程序无法验证链路
- c# - 如何修复此错误:C# 中的 System.UnauthorizedAccessException?
- php - 如何修复使用 api 发送到 php 的变量的空结果?
- reactjs - CommonJS 要求与 ES6 导入差异