machine-learning - gamma和epsilon在KL散度计算中的作用是什么？

Question

我想知道是否有人可以向我解释为什么可以使用 gamma 和 epsilon 来计算两个文档之间的 KL 散度？他们的角色是什么？我的数学不太好，所以如果有人可以用简单的术语向我解释，那将非常有帮助。

感谢您的帮助！

标签： machine-learning

Answer 1

我想您指的是论文Using Kullback-Leibler Distance for Text Categorization中定义的 gamma 和 epsilon 值。

epsilon是不在文档中的术语的概率。将其设置为较小的值而不是 0，以避免距离无限。gamma是要考虑的归一化系数epsilon，因此类别中项的概率满足概率的属性（总和为 1）。