python - 使用 tf.gather 在 keras 中自定义正则化
问题描述
我正在尝试在 keras 中实现自定义正则化器。这个想法是,正则化的范围仅限于数据集中的两列。这是一个玩具数据集:
# dataset
from sklearn.datasets import load_breast_cancer
data = load_breast_cancer()
x = data.data # x.shape() == (569, 30)
y = data.target
这是我编写正则化器的方式:
import tensorflow as tf # tf.__version__ == 2.0.0
class MyRegularizer(tf.keras.regularizers.Regularizer):
def __init__(self, strength):
self.strength = strength
def __call__(self, x):
# print(tf.shape(x))
return self.strength * tf.reduce_sum(tf.subtract(tf.gather(params=x,indices=[29],axis=1),
tf.gather(params=x,indices=[28],axis=1)
)
)
这是一个玩具模型:
# model
inputs = tf.keras.layers.Input(shape=x.shape[1])
dense = tf.keras.layers.Dense(1, kernel_regularizer=MyRegularizer(0.01)
)(inputs)
model = tf.keras.models.Model(inputs = inputs, outputs = dense)
model.compile(loss='binary_crossentropy')
model.summary()
model.fit(x,y)
我得到的错误如下:
InvalidArgumentError:segment_ids[0] = 28 超出范围 [0, 1)
我确实尝试在模型之外检查正则化器的输出函数
tf.reduce_sum(tf.subtract(tf.gather(x,[29],axis=1),tf.gather(x,[28],axis=1)))
它运行良好。
因此,发送到正则化器的张量的形状可能存在问题。我不知道如何解决这个问题(使用变量名、数据类型、输入形状,都没有运气)。没有正则化器的模型拟合没有任何错误。
互联网上关于上述错误的线程围绕嵌入维度展开,我未能找到适合我的解决方案。
解决方案
在您的子类中,“call()”方法中传递的参数“x”是层内核(权重)。由于您在 Dence 层中有一个单元,因此“tf.gather”方法无法在内核的第二个轴上找到索引 [28] 的元素。
InvalidArgumentError:segment_ids[0] = 28 超出范围 [0, 1)
如果您想获得与 [28] 输入相对应的权重;我认为下面的代码可以工作(将轴值更改为零):
import tensorflow as tf # tf.__version__ == 2.0.0
class MyRegularizer(tf.keras.regularizers.Regularizer):
def __init__(self, strength):
self.strength = strength
def __call__(self, x):
# print(tf.shape(x))
return self.strength * tf.reduce_sum(tf.subtract(tf.gather(params=x,indices=[29],axis=0),
tf.gather(params=x,indices=[28],axis=0)
)
)
推荐阅读
- python - 根据另一列的条件创建熊猫列
- mysql - 使用 mysql 数据库时使用 BCrypt 的身份验证不保存 hashed_password
- webrtc - WebRTC + Adapter.js 在 MS Edge 中连接音频呼叫时出现 addremoteCandidate 错误
- powershell - 将数组列表从第一个脚本传递到第二个脚本
- python - 根据情况删除
- javascript - 使用 appendChild 到当前聚焦的元素
- python - 在 Django 管理员上使用 ImageField 提交表单后出现 404 错误
- javascript - 如何使用 JS 的“srcset”来更改 img src,基于哪个 onclick?
- java - 我怎么知道是否安装了java jdk
- javascript - `TypeError:无法读取未定义的属性“sportId”`