大数定律与中心极限定理

概率论与数理统计

参考：中心极限定律 - Vamei

随机变量序列收敛的定义

依概率收敛

有随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$，和随机变量（或常数） X，如果对任意给定的正数 $\epsilon$，有

$$ \lim_{n\rightarrow \infty} P{ |X_n-X| < \epsilon } = 1 $$

则称 $X_1,\;X_2,\;X_3,…,X_n,…$ 依概率收敛于 $X$

依分布收敛

有随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$，和随机变量（或常数） X，分别对应分布函数 $F_n(x)$ 和 $F(x)$，如果在 $F(x)$ 的连续点 $x$ 处均有：

$$ \lim_{n\rightarrow \infty} F_n(x) = F(x) $$

则称 $X_1,\;X_2,\;X_3,…,X_n,…$ 依分布收敛于 $X$

大数定律

随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$ 对应期望 $E(X_i)$ 都存在，对任意正实数 $\epsilon$ 有

$$ \lim_{n\rightarrow \infty} P{|\frac{1}{n}\sum X_i - \frac{1}{n} \sum E(X_i) | < \epsilon } = 1 $$

即 $Y_n=\frac{1}{n}\sum X_i - \frac{1}{n} \sum E(X_i)$ （n=1, 2, 3…）依概率收敛于零，则称该随机变量序列服从大数定律。

切比雪夫大数定律

随机变量序列中每个变量期望与方差存在，且方差有界，则该随机变量序列服从大数定律

辛软大数定律

随机变量序列 相互独立同分布 (IID, Independent and Identically Distributed)，数学期望存在，则该随机变量序列服从大数定律

伯努利大数定律

设 m 是 n 重伯努利试验中事件 A 出现的次数， p 是 A 在每次试验中发生的频率，则对任意给定的正数 $\epsilon$，有

$$ \lim_{n \rightarrow \infty} P{ |\frac{m}{n} - p| < \epsilon } = 1 $$

其实是随机变量服从伯努利分布的辛软大数定律的形式

中心极限定理

随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$ 的 标准化随机变量序列 通项为

$$ Z_n = \frac{\sum X_i - \sum E(X_i)}{\sqrt{\sum D(X_i)}},\quad (n = 1,\;2,\;…) $$

记 $Z_n$ 的分布函数为 $F_n(z)$，如果满足

$$ \lim_{n\rightarrow \infty} F_n(z) = \Phi(z) $$

即随机变量序列 ${Z_n}$ 依分布收敛于标准正态分布，则称随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$ 服从中心极限定理。

独立同分布中心极限定理

随机变量序列相互独立同分布，且期望与方差存在，则服从中心极限定理。

$E(X)=\mu,\;D(x)=\sigma$，常用计算公式：

$$ P{ x1 \le \sum{i=1}^n X_i \le x_2 } = P{ \frac{x_1 - n\mu}{\sqrt{n\sigma}} \le Z_n \le \frac{x_2 - n\mu}{\sqrt{n\sigma}}} \approx \Phi(\frac{x_2 - n\mu}{\sqrt{n\sigma}}) - \Phi(\frac{x_1 - n\mu}{\sqrt{n\sigma}}) $$

棣莫弗——拉普拉斯中心极限定理

随机变量 $Y_n \sim B(n,p),\; (n=1,\;2,…)$，则对任意实数 $x$ 有

$$ \lim_{n \rightarrow \infty} P{ \frac{Y_n - np}{\sqrt{np(1-p)}} \le x} = \Phi(x) $$

其实是随机变量序列相互独立同伯努利分布的中心极限定理表现形式