2024年浙江杭州高三一模数学试题 #17
设随机变量 $X$ 所有可能的取值为 $x_1,x_2,\cdots,x_n$，$P\left(X=x_i\right)=p_i>0$（$i=1,2,\cdots,n$），且 $p_1+p_2 +\cdots+p_n=1$．定义事件 $X=x_i$ 的信息量为 $H_i=-\ln p_i$，称 $X$ 的平均信息量\[H(X)= -\left(p_1\ln p_1+p_2\ln p_2+\cdots+p_n\ln p_n\right)\]为信息熵．
（1）若 $n=3$，$p_{k+1}=2 p_k$（$k=1,2$），求此时的信息熵；
（2）最大熵原理：对一个随机事件的概率分布进行预测时，要使得信息熵最大．信息熵最大就是事物可能的状态数最多，复杂程度最大，概率分布最均匀，这才是风险最小（最合理）的决定．证明：$H(X)\leqslant\ln n$，并解释等号成立时的实际意义． （参考不等式：若 $f(x)=\ln x$，则 $\displaystyle\sum_{i=1}^n p_i f\left(x_i\right)\leqslant f\left(\sum_{i=1}^n p_i x_i\right)$）
解析
（1）根据题意，有\[\begin{cases} p_2=2p_1,\\ p_3=2p_2,\\ p_1+p_2+p_3=1,\end{cases}\]解得 $p_1=\dfrac 1 7$，$p_2=\dfrac 2 7$，$p_3=\dfrac 4 7$，所以\[H(X)=-\left(\dfrac 1 7\ln\dfrac 1 7+\dfrac 2 7\ln\dfrac 2 7+\dfrac 4 7\ln\dfrac 4 7\right)=\ln 7-\dfrac{10}7\ln 2.\]
（2）根据参考不等式，有\[H(X)=-\displaystyle\sum_{i=1}^n p_i\ln p_i=\sum_{i=1}^n p_i\ln\dfrac 1{p_i}\leqslant\ln\left(\sum_{i=1}^n\left(p_i\cdot\dfrac 1{p_i}\right)\right)=\ln n,\]等号当 $p_1=p_2=\cdots=p_n=\dfrac 1 n$ 时取得． 等号成立的实际意义：从现实生活理解，在没有任何已知信息时，对于未知信息，不加主观臆断，对每一种可能性都有所估计，且等概率地分配是最保险的做法．