2024年浙江杭州高三一模数学试题 #17
设随机变量 X 所有可能的取值为 x1,x2,⋯,xn,P(X=xi)=pi>0(i=1,2,⋯,n),且 p1+p2+⋯+pn=1.定义事件 X=xi 的信息量为 Hi=−lnpi,称 X 的平均信息量H(X)=−(p1lnp1+p2lnp2+⋯+pnlnpn)为信息熵.
(1)若 n=3,pk+1=2pk(k=1,2),求此时的信息熵;
(2)最大熵原理:对一个随机事件的概率分布进行预测时,要使得信息熵最大.信息熵最大就是事物可能的状态数最多,复杂程度最大,概率分布最均匀,这才是风险最小(最合理)的决定.证明:H(X)⩽lnn,并解释等号成立时的实际意义. (参考不等式:若 f(x)=lnx,则 n∑i=1pif(xi)⩽f(n∑i=1pixi))
解析
(1)根据题意,有{p2=2p1,p3=2p2,p1+p2+p3=1,解得 p1=17,p2=27,p3=47,所以H(X)=−(17ln17+27ln27+47ln47)=ln7−107ln2.
(2)根据参考不等式,有H(X)=−n∑i=1pilnpi=n∑i=1piln1pi⩽ln(n∑i=1(pi⋅1pi))=lnn,等号当 p1=p2=⋯=pn=1n 时取得. 等号成立的实际意义:从现实生活理解,在没有任何已知信息时,对于未知信息,不加主观臆断,对每一种可能性都有所估计,且等概率地分配是最保险的做法.