python - 如何在 Tensorflow 2.0 中做 Cohen Kappa 二次损失?
问题描述
我正在尝试根据以下内容创建损失函数:
如何在 Keras 中将损失函数指定为二次加权 kappa?
但在张量流 2.0 中:
tf.contrib.metrics.cohen_kappa
不复存在。有替代方案吗?
解决方案
def kappa_loss(y_pred, y_true, y_pow=2, eps=1e-10, N=4, bsize=256, name='kappa'):
"""A continuous differentiable approximation of discrete kappa loss.
Args:
y_pred: 2D tensor or array, [batch_size, num_classes]
y_true: 2D tensor or array,[batch_size, num_classes]
y_pow: int, e.g. y_pow=2
N: typically num_classes of the model
bsize: batch_size of the training or validation ops
eps: a float, prevents divide by zero
name: Optional scope/name for op_scope.
Returns:
A tensor with the kappa loss."""
with tf.name_scope(name):
y_true = tf.cast(y_true,dtype='float')
repeat_op = tf.cast(tf.tile(tf.reshape(tf.range(0, N), [N, 1]), [1, N]), dtype='float')
repeat_op_sq = tf.square((repeat_op - tf.transpose(repeat_op)))
weights = repeat_op_sq / tf.cast((N - 1) ** 2, dtype='float')
pred_ = y_pred ** y_pow
try:
pred_norm = pred_ / (eps + tf.reshape(tf.reduce_sum(pred_, 1), [-1, 1]))
except Exception:
pred_norm = pred_ / (eps + tf.reshape(tf.reduce_sum(pred_, 1), [bsize, 1]))
hist_rater_a = tf.reduce_sum(pred_norm, 0)
hist_rater_b = tf.reduce_sum(y_true, 0)
conf_mat = tf.matmul(tf.transpose(pred_norm), y_true)
nom = tf.reduce_sum(weights * conf_mat)
denom = tf.reduce_sum(weights * tf.matmul(
tf.reshape(hist_rater_a, [N, 1]), tf.reshape(hist_rater_b, [1, N])) /
tf.cast(bsize, dtype='float'))
return nom / (denom + eps)
并使用
lossMetric = kappa_loss
model.compile(optimizer=optimizer, loss=lossMetric, metrics=metricsToWatch)
并预先将值转换为浮点数:
tf.cast(nn_x_train.values, dtype='float')
我还使用了一个 numpy 验证版本:
def qwk3(a1, a2, max_rat=3):
assert(len(a1) == len(a2))
a1 = np.asarray(a1, dtype=int)
a2 = np.asarray(a2, dtype=int)
hist1 = np.zeros((max_rat + 1, ))
hist2 = np.zeros((max_rat + 1, ))
o = 0
for k in range(a1.shape[0]):
i, j = a1[k], a2[k]
hist1[i] += 1
hist2[j] += 1
o += (i - j) * (i - j)
e = 0
for i in range(max_rat + 1):
for j in range(max_rat + 1):
e += hist1[i] * hist2[j] * (i - j) * (i - j)
e = e / a1.shape[0]
return sum(1 - o / e)/len(1 - o / e)
并使用
nn_y_valid=tf.cast(nn_y_train.values, dtype='float')
print(qwk3(nn_y_valid, trainPredict))
其中 nn_x_train 和 nn_y_train 是 pandas 数据帧
推荐阅读
- typescript - 为什么我收到此错误此行的长度为 118。允许的最大值为 80 max-len?
- windows - 当我使用左/右箭头键时,它会转到行首或行尾
- excel - Sheet.Range(Sheet,Cells(x,y), Sheet.Cells(x2,y2)) 语法
- vmware - 如何在 VMWare 中运行分辨率为 3840*2160 的 Android-x86
- python - 在python中访问组的一行
- node.js - 使用 node.js 将图像从颤振上传到服务器
- email - 如何在 gmail 消息中添加电子邮件标记?| Gmail 收件箱操作
- java - 如何将访问令牌保存在 apache camel 的代码级别内,这样如果它存在就不需要调用 auth api?
- python - 计算自日期列以来的天数
- .net - 在 Graphql 我需要显示列表