GE2E loss 是什么
- GE2E loss 全称为Generalized end to end loss function。它聚焦于embedding的差异性，比TE2E(tuple-based endto-end loss function)损失函数更有效。
前提准备
- batch的形式 每个batch由NxM个embedding组成，形状为(N,M,e) ：N个speaker,每个speaker有M个embedding，每个embedding的长度为e。
- \(e_{j,i}\) 第j个speaker的第i个embedding
- \(c_j\) 第j个speaker的centroid（我把他翻译为中心向量），\(c_{j}\) = \(\frac{1}{M}\)\(\sum^{M}_{m=1}\)\(e_{jm}\)
- \(S_{ji,k}\) eji和ck的相似度。 我们定义S为相似矩阵。\(S_{ji,k}\) = w · cos(\(e_{j,i}\), \(c_k\)) + b
计算公式
- 对于每个Batch，其loss为 \(L_G\)(X; W) = \(L_G\)(S) = \(\sum_{j,i}\)L(\(e_{j,i}\))
- 其中 L(\(e_{j,i}\))有两种计算方式：
-
Contrast
L(\(e_{ji}\)) = 1 - sigmoid(\(S_{ji,j}\)) + \(max_{1<=k<=N,k!=j}\)sigmoid(\(S_{ji,k}\)) -
Softmax
L(\(e_{ji}\)) = -\(S_{ji,j}\) + log\(\sum^{N}_{k=1}\)exp(\(S_{ji,k}\)) -
如何选择：Contrast公式在TD—SV类模型上表现更好，Softmax公式在TI-SV类模型上表现更好。
-
改进
- 在计算正相关对儿的相似度的时候，即计算\(S_{jk,j}\)的时候将\(e_{ji}从\)\(c_j\)的计算公式中移除，会取得更佳的效果。
- TD-SV & TI-SV TD-SV即text-dependent speaker verification，TI-SV即text-independent speaker verification. In TD-SV, the transcript of both enrollment and verification utterances is phonetially constrained, while in TI-SV, there are no lexicon constraints on the transcript of the enrollment or verification utterances, exposing a larger variability of phonemes and utterance durations.
Reference
- GENERALIZED END-TO-END LOSS FOR SPEAKER VERIFICATION https://arxiv.org/pdf/1710.10467.pdf