python - 如何使用贝叶斯证据来比较模型

Question

我正在探索如何使用贝叶斯估计来比较模型，并且需要与实现它的方法进行比较。到目前为止我只是发现这篇文章更容易理解，但我仍然不确定如何实现。如果您转到第 20 页“使用贝叶斯证据进行模型比较”。

我们只需要为每个模型计算这个并进行比较：

同样正如作者所提到的，“P(M) 是模型先验概率。如果我们没有理由偏爱一个模型而不是另一个模型，那么我们只需将所有这些设置为相等”。P(D|Mi)是证据，“重要的一点是证据是数据上的标准化 PDF”。

这些给我提出了两个问题：

1. P(Mi) 可以对所有模型都相等，这意味着我可以将它们都设置为 1 或者它们的总和应该为 1？

2. 如果证据 P(D|Mi) 是归一化的 pdf，它应该是一个分布，对吧？那么如何将规范化的pdf转换为值？最让我困惑的是，假设我有特征 X、ground truth y 和预测类 y_pred。如何计算每个模型的 P(D|Mi)？

可以给我一个简单的例子 features X, ground truth y, and predicted classes y_pred吗？如果你可以在 python 或 R 中做到这一点，那就更好了。

标签： pythonmodelbayesian