tensorflow - 如何在 keras 中使用额外的变量自定义损失函数

Question

我想训练一个具有自定义损失函数的模型。损失包括两部分。Part1 和 part2 可以用 y_true（标签）和 y_predicted（实际输出）计算。但是，那loss = part1 +lambda part2

lambda 是一个变量，应该能够与网络模型的参数一起调整。在张量流中，似乎可以将 lambda 定义为 tf.Variable 以进行更新。但是，我怎样才能在 Keras 中做到这一点？

标签： tensorflowkerasdeep-learningloss-function

Answer 1

好吧，我想出了一个解决方案。这很丑陋，但它是一个解决方案：

class UtilityLayer(Layer):

    def build(self, input_shape):
        self.kernel = self.add_weight(
            name='kernel',
            shape=(1,),
            initializer='ones',
            trainable=True,
            constraint='nonneg'
        )
        super().build(input_shape)

    def call(self, inputs, **kwargs):
        return self.kernel


switch = -1
last_loss = 0

def custom_loss_builder(utility_layer):
    def custom_loss(y_true, y_pred):
        global switch, last_loss
        switch *= -1

        if switch == 1:
            last_loss = utility_layer.trainable_weights[0] * MSE(y_true, y_pred) 
            return last_loss # your network loss
        else:
            return last_loss # your lambda loss

    return custom_loss


dummy_y = np.empty(len(x))

inputs = Input(shape=(1,))
x = Dense(2, activation='relu')(inputs)
outputs = Dense(1)(x)
utility_outputs = UtilityLayer()(inputs)

model = Model(inputs, [outputs, utility_outputs])
model.compile(optimizer='adam', loss=custom_loss_builder(model.layers[-1]))
model.fit(x, [y, dummy_y], epochs=100)

以及您的 lambda 的演变：