已知$a,b,c\geqslant 0$且$a+b+c=3$，求$m=a^2b^2+b^2c^2+c^2a^2$的最大值．
正确答案是$\dfrac{81}{16}$．
分析与解 先计算可能的最大值．\[\begin{matrix}
a & b & c & m \\ \hline
0 & 0 & 3 & 0 \\
0 & \dfrac 32 & \dfrac 32 & \dfrac{81}{16} \\
1 & 1 & 1 & 3 \\ \hline
\end{matrix}\]
利用函数 不妨设$a$最小，则$0\leqslant a\leqslant 1$．此时\[\begin{split}m&=a^2\left(b^2+c^2\right)+b^2c^2\\&\leqslant a^2(b+c)^2+\left(\dfrac{b+c}2\right)^4\\&=a^2(3-a)^2+\dfrac 1{16}(3-a)^4.\end{split}\]记右侧关于$a$的函数为$\varphi(a)$，则其导函数\[\varphi'(a)=\dfrac {3-a}4\left(-17a^2+30a-9\right),\]因此函数$\varphi(a)$在区间$[0,1]$上先单调递减，再单调递增，其最大值为\[\max\left\{\varphi(0),\varphi(1)\right\}=\max\left\{\dfrac{81}{16},5\right\}=\dfrac{81}{16}.\]因此$m$的最大值为$\dfrac{81}{16}$，当$(a,b,c)$为$\left(0,\dfrac 32,\dfrac 32\right)$及其轮换时取得．
利用不等式 不妨设$c$最大，则$c^2\geqslant ab$，于是\[\begin{split}m&=a^2b^2+\left(a^2+b^2\right)c^2\\&=ab\left(ab-2c^2\right)+(a+b)^2c^2\\&\leqslant (a+b)^2c^2\\&\leqslant \left(\dfrac{a+b+c}2\right)^4\\&=\dfrac {81}{16},\end{split}\]等号当$(a,b,c)=\left(0,\dfrac 32,\dfrac 32\right)$时取得，因此$m$的最大值为$\dfrac{81}{16}$．
注 设$p=a+b+c$，$q=ab+bc+ca$，$r=abc$，则$p=3$，且\[a^2b^2+b^2c^2+c^2a^2=q^2-2pr=q^2-6r,\]是关于$r$的一次函数，于是最值必然在一数为$0$或两数相等时取得．