matrix - 关于为场景构建转移矩阵的问题

我在学习时遇到了一些关于构建转移概率矩阵的问题，以下是问题的场景：

**假设一部手机有i个故障（对于 i = 0,1,2,3，发生另一个故障的概率是 p，与前一天无关，并且新故障将以 q^i+1 的概率修复在同一天内。

如果手机没有修好，那就是更换。

如果电话有第 n 个故障，则立即更换。(n=3)

替换手机最初的故障为零

在一天之内发生不止一个故障的概率足够小，可以忽略。**

如何为当前状态表示手机迄今为止经历（并已修复）的故障数量的马尔可夫链构建转移矩阵。

标签： matrixmarkov-chainsmarkovstochastic

您可以从一个更简单的案例开始：假设手机只能在第二天修理。让我们定义所有可能的状态：

现在您可以为这种情况绘制图表：

现在我们知道手机实际上必须在同一天维修。在这种情况下，我们只有 3 种状态，并且在每种状态下手机都正常（维修或更换）：

从第一张图中，您可以看到从一个 OK 状态到另一个 OK 状态的所有路径。您需要做的就是遵循路径并收集概率：

转换矩阵如下所示：

您可以看到每个原始总和为 1（有两种不同的约定。第二个表示列的总和应为 1）。在第一个约定中，您计算下一个状态向量X=A*X，就像在第二个约定中一样X=X*A