每日一题[3617]马尔科夫链

2024年9月雅礼中学高三月考数学试卷 #14

马尔科夫链是概率统计中的一个重要模型，也是机器学习和人工智能的基石，为状态空间中经过从一个状态到另一个状态转换的随机过程．该过程要求具备“无记忆”的性质：下一状态的概率分布只能目当前状态决定，在时间序列中它前面的事件均与之无关．甲口袋中装有 $1$ 个黑球和 $2$ 个白球，乙口袋中装有 $2$ 个黑球和 $1$ 个白球．现从甲、乙两口袋中各任取一个球交换放入另一口袋，重复进行 $n$（$n\in\mathbb N^{\ast}$）次这样的操作，记口袋甲中黑球的个数为 $X_n$，恰有 $1$ 个黑球的概率为 $p_n$，则 $p_1$ 的值是_____；$X_n$ 的数学期望 $E\left(X_n\right)$ 是_____．

答案    $\dfrac 4 9$，$\dfrac 3 2-\dfrac 1 2\left(\dfrac 1 3\right)^n$．

解析    设 $X_n$ 取 $0,1,2,3$ 的概率分别为 $p_0,p_1,p_2,p_3$，则状态转移矩阵为

$$\begin{pmatrix} p_0\\ p_1\\ p_2\\ p_3\end{pmatrix}_{n+1}=\begin{pmatrix} 0&\dfrac 19&0&0\\ 1&\dfrac 49&\dfrac 49&0\\ 0&\dfrac 49&\dfrac 49&1\\ 0&0&\dfrac 19&0\\ \end{pmatrix}\begin{pmatrix} p_0\\ p_1\\ p_2\\ p_3\end{pmatrix}_{n},\quad \begin{pmatrix} p_0\\ p_1\\ p_2\\ p_3\end{pmatrix}_{0}=\begin{pmatrix} 0\\ 1\\ 0\\ 0\end{pmatrix}$$ 因此 $$\begin{pmatrix} p_0\\ p_1\\ p_2\\ p_3\end{pmatrix}_{1}=\begin{pmatrix} \dfrac 19\\ \dfrac 49\\ \dfrac 49\\ 0\end{pmatrix},$$ 因此 $$E(X_n)=\begin{pmatrix} 0&1&2&3\end{pmatrix}\begin{pmatrix} 0&\dfrac 19&0&0\\ 1&\dfrac 49&\dfrac 49&0\\ 0&\dfrac 49&\dfrac 49&1\\ 0&0&\dfrac 19&0\\ \end{pmatrix}\begin{pmatrix} p_0\\ p_1\\ p_2\\ p_3\end{pmatrix}_{n}=\begin{pmatrix} 1&\dfrac 43&\dfrac 53&2\end{pmatrix}\begin{pmatrix} p_0\\ p_1\\ p_2\\ p_3\end{pmatrix}_{n},$$ 也即 $$E(X_n)=1+\dfrac 13E(X_{n-1}),$$ 而 $E(X_1)=\dfrac 43$，因此 $E(X_n)=\dfrac 32-\dfrac 12\left(\dfrac13\right)^n$．