TF-logtis模型

logits: 一个事件发生与该事件不发生的比值的对数。假设一个事件发生的概率为 p，那么该事件的 logits 为 $\text{logit}(p) = \log\frac{p}{1-p}$ .

现在来看一下这个式子和 softmax 有啥关系。在 dl 中，softmax 层会对输入进行归一化处理以得到概率分布：如下面式子所述 $p(i) = \frac{e^{a_i}}{\sum_{j=0}^C e^{a_j}}$

$a_0, a_1, ...a_C$ 就是 tensorflow 所称的 logits，一通就计算发现 $\log\frac{p(i)}{1-p(i)} \ne a_i$ . 所以 tensorflow 中 logit 代表的意思 并不是 logit 的数学含义。当成未归一化的概率就好。