概率论不等式的简单总结「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。

欢迎前往我的个人博客阅读原文。

解决不能准确计算出概率和期望的问题的有效策略有三种：模拟、约束和近似。模拟，就是使用 Monte Carlo 法模拟，但是模拟结果很容易遭到质疑，而且即使在速度很快的计算机上，模拟也可能需要长时间运行。对概率的约束可以证明概率在一定范围内，界限可能无法给出一个很好的近似，至少可以保证真实值一定是此区间的一个值。极限理论近似法即使用大数定律和中心极限定理处理数据量比较大的情形。

下面给出概率论中的一些不等式约束：

Cauchy-Schwarz 不等式：对联合期望的边际约束

Cauchy-Schwarz 不等式是所有数学公式中最著名的不等式之一。

Cauchy-Schwarz 不等式 对任意的随机变量 $X$ 和 $Y$ ，$X$ 和 $Y$ 的方差有限，都有
$$|E(XY)|\le \sqrt{E(X^2)E(Y^2)}.$$

Proof. 对于任意的 $t$，有
$$0\le E(Y-tX{)}^2=E(Y^2)-2tE(XY)+t^{2}E(X^2)$$
​ 下面寻找使不等式最优的 $t$ 值，是不等式右边最小：
$$\begin{gathered} f(t)=t^{2}E(X^2)-2tE(XY)+E(Y^2) \\ {f}^{\prime }(t)=2tE(X^2)-2E(XY)=0 \end{gathered}$$
​ 解得 $t=\frac{E(XY)}{E(X^2)}$。代入 $t$ 的值得，
$$|E(XY)|\le \sqrt{E(X^2)E(Y^2)}.$$

• 如果 $X$ 和 $Y$ 不相关，那么 $E(XY)=E(X)E(Y)$，$E(XY)$ 只取决于边际期望 $E(X)$ 和 $E(Y)$。
• 如果 $X$ 和 $Y$ 的均值是 0，即当 $E(X)=E(Y)=0$ 时，$E(XY)=Cov(X,Y)$，$E(X^2)=Var(X)$，$E(Y^2)=Var(Y)$，所以化简 Cauchy-Schwarz 不等式，可得 $|{\rho }_{XY}|\le 1$。那么 Cauchy-Schwarz 不等式的统计解释为：$X$ 和 $Y$ 的相关系数介于 $-1$ 和 $1$ 之间。
• 将 $X$ 写作 $X=X\cdot 1$，则由 Cauchy-Schwarz​ 不等式，可得 $|E(X\cdot 1)|\le \sqrt{E(X^2)E(Y^2)}$，化简得 $E(X^2)\ge (EX{)}^2$，这便为方差非负提供了一种快速证明的方法。
• 二阶矩法：$P(X>0)\ge \frac{(EX{)}^2}{E(X^2)}$ 或 $P(X=0)\le \frac{Var(X)}{E(X^2)}$。
• Cauchy-Schwarz 不等式允许由边际矩母函数的存在推断出联合矩母函数的存在。

关于凸性的 Jensen 不等式

对于非线性函数 $g$，$Eg(X)$ 可能不同于 $g(EX)$。如果 $g$ 是一个凸函数或凹函数，那么 Jensen 函数将告诉我们 $Eg(X)$ 和 $g(EX)$ 哪个更大。

Jensen 不等式 设 $X$ 是一个随机变量。如果 $g$ 是一个凸函数，那么 $Eg(X)\ge g(EX)$。如果 $g$ 是一个凹函数，那么 $Eg(X)\le g(EX)$。在这两种情况下，等号成立的唯一条件是，存在常数 $a$ 和 $b$，使 $g(X)=a+bX$ 的概率是 1。

Proof. 如果 $g$ 是凸函数，那么所有与 $g$ 相切的直线都在 $g$ 的下方。特别地，令 $\mu =E(X)$，并考虑点 $(\mu ,g(\mu ))$ 处 的切线。用 $a+bx$ 表示这条切线，则 $g(x)\ge a+bx$，对定义域内的所有 $x$ 都成立。

​ 对两边同时取数学期望，有
$$Eg(X)\ge E(a+bX)=a+bE(X)=a+b\mu =g(\mu )=g(EX)$$
​ 如果 $g$ 是凹函数，那么 $h=-g$ 是凸函数，所以可以应用上述对 $h$ 的证明，看到关于凹函数 $g$ 的不等式的

​ 不等号方向与凹函数情况中的相反。

​ 最后，假设等号对凸函数成立。令 $Y=g(X)-a-bX$。 $Y$ 是一个非负的随机变量，且 $E(Y)=0$，所

​ 以 $P(Y=0)=1$。所以，当且仅当 $P(g(X)=a+bX)=1$ 时等号成立。

​ 对于凹函数的情况，可以令 $Y=a+bX-g(X)$，然后用相同的方法证得。

• 由 Jensen 不等式容易得到
  • $E|X|\ge |EX|$；
  • $E\left(\frac{1}{X}\right)\ge \frac{1}{EX}$，对于正的随机变量 $X$；
  • $E(\ln X)\le \ln (EX)$，对于正的随机变量 $X$；
• 如果用数据集的样本标准差估计未知的标准差，那么可以用 Jensen 不等式来观察偏差的正负；
• 在信息理论，Jensen 不等式的一个重要应用是关于如何量化信息的研究。

Markov 不等式，Chebyshev 不等式，Chernoff 不等式：尾概率的界限

Markov 不等式 对任意随机变量 $X$ 和常数 $a>0$，有 $P(|X|\ge a)\le \frac{E(X)}{a}$。

Proof. 令 $Y=\frac{|X|}{a}$，则需要证明 $P(Y\ge 1)\le E(Y)$。

​ 注意到 $I(Y\ge 1)\le Y$，因为如果 $I(Y\ge 1)=0$，那么 $Y\ge 0$；如果 $I(Y\ge 1)=1$，那么 $Y\ge 1$。

​ 在不等式两边同时取期望，得 Markov 不等式。

• Markov 不等式是一个非常粗糙的约束，因为它不需要对 $X$ 作出假定。不等式的右边可能大于 $1$，甚至可能无穷大。

Chebyshev 不等式 令 $X$ 的均值为 $\mu$，方差为 ${\sigma }^2$，那么对任何一个 $a>0$，有 $P(|X-\mu |\ge a)\le \frac{{\sigma }^2}{a^2}$。

Proof. 根据 Markov 不等式，可得
$$P(|X-\mu |\ge a)=P((X-\mu {)}^2\ge a^2)\le \frac{E(X-\mu {)}^2}{a^2}=\frac{{\sigma }^2}{a^2}.$$

• 用 $c\sigma$ 代替 $a$，由于 $c>0$，则有以下 Chebyshev 不等式等价形式
  $$P(|X-\mu |\ge c\sigma )\le \frac{1}{c^2}.$$
  这给出了随机变量偏离其均值 $c$ 倍标准差的概率的上限。

Chernoff 不等式 对任意随机变量 $X$、常数 $a>0$ 和 $t>0$，有
$$P(X\ge a)\le \frac{E(e^{tX})}{e^{ta}}.$$

Proof. 变换 $g(x)=e^{tx}$ 是可逆且严格递增的函数，因此，由 Markov 不等式，可得
$$P(X\ge a)=P(e^{tX}\ge e^{ta})\le \frac{E(e^{tX})}{e^{ta}}.$$

• Chernoff 不等式有两个非常好的性质：
  • 不等号右边可以关于 $t$ 进行优化，并给出严格的上界，如 Cauchy-Schwarz 不等式的证明；
  • 如果 $X$ 的矩母函数存在，那么分子的界限就是矩母函数，且可以利用矩母函数的一些有用性质。