entropy - 如何计算包含在位串中的信息（或熵）？

如何计算包含在位串中的信息（或熵）？

香农的熵方程不是解决方案，它只计算 1 和 0，因此对于字符串：010101... 我得到最大熵，即使字符串是高度有序的，因此它包含少量信息。
自动编码器很有帮助，但你无法判断它们“窃取”了多少信息，换句话说，它们过度拟合了多少。例如，如果我在输入长度为 N-1 的 N 位长字符串上训练它，它只会记住每一位，从而产生 0 信息作为输出。
我知道压缩算法可以做的最好的事情是达到最大熵，结果信息是输出字符串的长度，但我认为这不能很好地概括，再加上这样的算法会是什么？

它与在 n = 1...N 的 n 元组上计算的香农熵有关吗？

我最好的猜测是使用一个 n 位长的子字符串“i”将跟随另一个（“j”）的概率矩阵。

有人可以帮忙吗？

标签： entropy