statistics - pymc3：为什么一切都是日志？

Question

我正试图围绕 pymc3，这似乎是一个漂亮的包。我不明白的一件事是为什么所有的概率都在日志中？Beta 分布的描述说它是“Beta 对数似然”。评估分布的函数是“logp”和“logcdf”。我在其他地方也看到了对 logp 的引用，但没有看到任何迹象表明我们为什么要记录日志。恐怕我可能会遗漏一些基本的东西。感谢您提供任何信息。

标签： statisticsbayesianpymc3

Answer 1

与其重复和不公正地对待数学和交叉验证的优秀帖子中所说的话，我想我指出了概率和对数之间的另一个很好的联系。

最大熵原理可以追溯到 1957 年物理学家（和统计学家）ET Jaynes 的出版物。它可以用来构建最一般的（即信息最少的）概率分布，在给定一组约束的情况下，最大化（信息）熵。

例如，假设我们对概率分布的唯一了解是它具有一定的均值 μ 和方差 σ²。遵循最大熵原理，我们可以证明，信息最少的概率分布对应于具有均值 μ 和方差 σ²的一般正态概率密度分布。

那么对数是如何在这一切中发挥作用的呢？在最大化熵的过程中，我们（很早就）得到了一个涉及概率分布对数的方程

其中 λ 是常数（它们是拉格朗日乘数），可以从上述一组约束中确定。