1 熵
1.1 香农熵(Shannon Entropy)
用来描述信息量的多少,随机变量不确定性的度量(metric),给定一个随机变量\(X,p(x)=Pr\{X=x\},x\in\omega\)
1.2 联合熵(Joint Entropy)
衡量一对随机变量所包含的信息量,两个随机变量联合不确定性的度量,联合熵描述了随机变量的相关性,越小越相关\((X,Y)\)及联合分布\(p(x,y)\)
1.3 条件熵(Conditional Entropy)
已知\(Y\)随机变量的前提下,随机变量\(X\)提供的信息量,依据\(p(x|y)=p(x,y)/p(y)\)
对于联合分布和边缘分布,把\(X\)或\(Y\)的熵称作边缘熵,于是有
1.4 累计剩余熵(Cumulative Residual Entropy,CRE)
将香农熵定义中的概率分布换成累计概率分布
1.5 瑞利熵(RE)
瑞利熵时香浓熵的一种推广形式,又称作\(\alpha\)熵
当\(\alpha \to 1\),求得瑞利熵的极限为香农熵,求极限也很简单,利用洛必达法则即可求得即可
2 相似性度量
2.1 互信息(Mutual Information,MI)
互信息衡量随随机变量\(X,Y\)之间的依赖程度,用来测量联合概率分布和二者完全独立时的分布之间的距离,使用KL散度(或称为相对熵)来定义
互信息、联合熵、边缘熵、条件熵之间有紧密的关系
互信息表示\(X\)中包含\(Y\)的信息的多少,也是对称的\(Y\)中包含\(X\)的多少。若\(X,Y\)独立则\(I(X,Y)=0\),若一一相关,则\(I(X,Y)=H(X)=H(Y)\)
2.2 归一化互信息(Normalized Mutual Information,NMI)
为了解决互信息对图像部分重叠区域的敏感性,提出了NMI
2.3 熵相关系数(Entropy Correlation Coefficient,ECC)
可以看作另一种归一化互信息
2.4 互累计剩余熵(Cross Cumulative Residual Entropy,CRE)
和互信息类似,只不过这里的熵换成了累计剩余熵
2.5 Alpha互信息(Alpha Mutual Information,\(\alpha-MI\))
根据\(\alpha\)熵得出\(\alpha\)熵
2.6 相对熵(KL散度)
相对熵也称作为KL散度,可以衡量两个分布之间的差异,\(p,q\)是\(X\)上的两个分布
2.7 交叉熵
是KL散度的一部分
2.8 詹森香农散度(JS散度)
因为KL散度不对称,所以提出了JS散度