概率论与数理统计

系列笔记

参考

基本概念

基本事件

随机试验发生的一个简单的事件。若干基本事件组合成 复合事件。

样本空间

由全体基本事件所组成的集合，每个基本事件称为 样本点。

随机事件

样本空间的一个子集。

互斥与对立

事件 $A$ 与 $B$ 互斥： $A \cap B=\varnothing$ \
事件 $A$ 与 $B$ 对立： $A \cap B=\varnothing$ 且 $A \cup B=\Omega$

相互独立

事件 A，B 满足： $P(AB)=P(A)P(B)$ ，即 一事件的发生不会影响到另一事件发生的概率，与 互斥事件 明显不同。

事件 A, B 相互独立，则 A 与 $\overline{B}$ ， $\overline{A}$ 与 B， $\overline{A}$ 与 B 相互独立。

完备事件组

设 $\Omega$ 为样本空间， $B_1,\;B_2,\;…B_n$ 为一组对立事件，即：

$B_i \cap B_j = \varnothing$
$B_1 \cup B_2 \cup … \cup B_n = \Omega$

称 $B_1,\;B_2,\;…B_n$ 为 $\Omega$ 的一个划分或 完备事件组。

古典概率

$P(A) = \frac{A 所含基本事件个数}{基本事件总数}$

几何型概率：每个事件发生的概率只与构成该事件区域的长度（面积或体积或度数）成比例

随机变量

设 $\Omega$ 是随机试验的样本空间，若对于每个样本点 $\omega \in \Omega$ ，都有 唯一的实数 $X(\omega)$ 与之对应，称 $X$ 为随机变量。由定义可知，随机变量实质上是函数。

分布函数

设 $\Omega$ 是随机试验的样本空间， $x$ 是任意实数，称函数

$F(x) = P{X \le x} = P{ \omega : X(\omega) \le x }$

为 随机变量 X 的分布函数， $F(x)$ 也可记为 $F_X(x)$

概率分布

狭义地，指随机变量的概率分布函数

n 维随机变量

n 个随机变量 $(X_1, X_2,…,X_n)$ 同一个样本空间

联合分布函数

$F(x,y) = P{ X \le x, Y \le y }$

$F_X(x),\; F_Y(y)$ 分别为 边缘分布函数，有：

$$ FX(x) = \lim{y \rightarrow +\infty} F(x,y) $$

离散型随机变量与及其分布

离散型随机变量

全部可能的取值只有 有限个 或 可列无穷个 的随机变量。\
离散型随机变量的 分布律： $P{ X=x_i } = p_i$ ，常用表格表示。

伯努利分布

又称 两点分布， 0-1分布，由 伯努利试验 得到，其样本空间只有两个对立的样本点。

二项分布

n 次重复独立的伯努利试验称为 n 重伯努利试验。\
二项分布（Binomial Distribution）是 n 重伯努利试验中成功次数的离散概率分布，记每次试验的成功概率为 p，成功次数为 k，随机变量 X=k，则 X 的分布律为：

$P{X=k}=P_n(k) = C_n^k p^k(1-p)^{n-k}$

X 服从二项分布，记 $X\sim B(n,p)$ 。 X 可视作 n 个同伯努利分布随机变量之和。

几何分布

在伯努利试验中，得到一次成功所需要的試驗次数 X
在得到第一次成功之前所经历的失败次数 Y = X − 1

X，Y 服从几何分布，其分布律分别为

$P{ X=k } = (1-p)^kp.\quad P{ Y=k } = (1-p)^{k-1}p$

因其分布律为等比数列，又称几何数列而得名。

超几何分布

从 N 个物件中不放回地抽取 n 个，抽取到（初始）总数为 M 的物件的个数 X=k 服从超几何分布，记 $X \sim H(n,M,N)$ , $X$ 的分布律为：

$$ P{ X=k } = \frac{CM^kC{N-M}^{n-k}}{C_N^n} $$

因其分布律数列前后项之比是一个关于 k 的函数，故称为超几何分布。如果 N，M 无穷大，每次抽出指定物件的概率几乎不变，退化为二项分布。

泊松分布

泊松分布由二项分布极限近似推导而成，当 $X \sim B(n,p)$ 中 $n$ 很大 $p$ 很小 时，可视为 X 近似服从泊松分布（ $\lambda=np$ ），记 $X \sim P(\lambda)$ ，其分布律为：

$P(X=k) = \frac{\lambda^k}{k!} e^{-\lambda}$

泊松分布可用于描述随机事件发生的次数，如某一服务设施到达的人数，其中 $\lambda$ 是随机事件的平均发生次数。

连续型随机变量与及其分布

连续型随机变量与概率密度函数

对随机变量 X 的分布函数 $F(x)$ ，存在非负函数 $f(x)$ ，满足

$F(x) = \int_{-\infty}^x f(u) du$

则 X 是 连续型随机变量，称 $f(x)$ 为 X 的 概率密度函数。注意， $f(x)$ 可积而不一定连续，故 F(x) 不一定可导。

均匀分布

$X \sim U(a,b)$ ，概率密度：

$f(x) = \left{ \begin{array}{l} \frac{1}{b-a},\quad a < x < b \ 0, \quad 其它 \end{array} \right.$

指数分布

$X \sim Exp(\lambda)$ ，概率密度：

$f(x) = \left{ \begin{array}{l} \lambda e^{-\lambda x},\quad x \ge 0 \ 0, \quad x < 0 \end{array} \right.$

指数分布描述独立随机事件发生的间隔，如电子元件下次损坏的时间，其中 $\lambda$ 为平均发生次数。具有 无记忆性：

$P{ X > t + s \ | X > t} = P{ X > s }$

正态分布

$X \sim N(\mu, \sigma^2)$ ，概率密度：

$\varphi(x;\mu, \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi}} \exp( \frac{-(x-\mu)^2}{2 \sigma^2} )$

正态分布具有可加性： $X\sim N(\mu_1, \sigma_1^2),\; Y\sim N(\mu_2, \sigma_2^2)$ ，则 $X\pm Y \sim N(\mu_1 \pm \mu_2, \sigma_1^2+\sigma_2^2)$

标准正态分布

$X \sim N(0,1)$ ，概率密度：

$\varphi(x) = \frac{1}{\sqrt{2 \pi}} \exp( \frac{-x^2}{2} )$

上侧 $\alpha$ 分位数

对连续型随机变量 X：

$$ P{ X \ge u\alpha } = \int{u_\alpha}^{+\infty} f(x) dx = \alpha $$

称 $u_\alpha$ 为上侧 $\alpha$ 分位数

随机变量的数字特征

（数学）期望

离散型：

$E(X) = \sum_{i=1}^{\infty} x_i p_i$

连续型：

$E(X) = \int_{-\infty}^{+\infty} x f(x) dx$

又称随机变量 X 的均值。

方差

$D(X)=E{[X-E(X)]^2}$

常用计算 $D(X)=E(X^2)-[E(X)]^2$

标准差 或 均方差： $\sigma(X)=\sqrt{D(X)}$

协方差

$cov(X,Y) = E{ [X-E(X)] [Y-E(Y)] }$

特别有 $D(X) = cov(X,X)$

常用计算： $cov(X,Y)=E(XY)-E(X)E(Y)$

矩

k 阶原点矩：

$\gamma_k = E(X^k)$

k 阶中心矩：

$\mu_k = E{ (X-E(X))^k }$

k 阶绝对原点矩： $\alpha_k = E(|X|^k)$ \
k 阶绝对中心矩： $\beta_k = E{ |X-E(X)|^k }$

一阶中心矩 $\mu_1=0$ ，二阶中心矩 $\mu_2$ 即方差

公式

概率运算公式

加法公式

$P(A\cup B)=P(A) + P(B) - P(AB)$

减法公式

$P(A-B)=P(A\overline{B})=P(A)-P(AB)$

乘法公式

$P(AB) = P(B)P(A|B)$

条件概率

$P(A|B) = \frac{P(AB)}{P(B)} \quad (P(B)>0)$

全概率公式

$P(A) = \sum_{i=1}^{n} P(B_i)P(A|B_i)$

其中 $B_1,\;B_2,\;…B_n$ 为完备事件组。

贝叶斯公式

$$ P(B_i | A)=\frac{ P(B_i)P(A|Bi) }{ \sum{j=1}^n P(B_j)P(A|B_j) } $$

其中 $B_1,\;B_2,\;…B_n$ 为完备事件组。

概率由分布函数计算

$P{ a < X \le b } = F(b) - F(a)$

$P{ X < x_0 } = F(x_0 - 0)$

$P{ X = x_0 } = F(x_0) - F(x_0 - 0)$

$P{ x_1 < X \le x_2,\;\; y_1 < Y \le y_2 }=F(x_2,y_2) - F(x_1,y_2) - F(x_2, y_1) + F(x_1,y_1)$

正态分布计算

$X \sim N(\mu, \sigma^2)$ ，标准正态分布函数 $\Phi(x)$ ，有：

$P(x_1 < X \le x_2) = \Phi(\frac{x_2-\mu}{\sigma}) - \Phi(\frac{x_1-\mu}{\sigma})$

定理

分布函数的性质

单调不减
$F(x)\in[0,1]$ 且 $\lim{x\rightarrow -\infty} F(x)=0 $,$ \lim{x\rightarrow +\infty} F(x)=1$
右连续，即 $F(x+0)=F(x)$

概率密度函数性质

$f(x) \ge 0$
$\int_{-\infty}^{+\infty} f(x) dx=1$
$P{x_1 \le X \le x2} = \int{x_1}^{x_2} f(x) dx$
若 $f(x)$ 可导， $F’(x) = f(x)$
分布函数 $F(x)$ 连续
$P(X=x_0) = 0$

期望的性质

对常数 C 有 $E(C) = C$
对常数 C 有 $E(CX)=CE(X)$
$E(X+Y)=E(X)+E(Y)$
$X,\; Y$ 相互独立 $E(XY)=E(X)E(Y)$

方差的性质

对常数 C 有 $D(C)=0$
对常数 C 有 $D(CX) = C^2 D(X)$
$D(X \pm Y)=D(X)+D(Y) \pm 2E{ [X-E(X)] [Y-E(Y)] }=D(X)+D(Y) \pm 2 cov(X,Y)$
$X,\; Y$ 相互独立，有 $D(X \pm Y)=D(X)+D(Y)$
对常数 C 有 $D(X+C)=D(X)$

常见分布的期望与方差

$X\sim B(n,p),\quad E(X)=np,\quad D(X)=np(1-p)$

$X \sim P(\lambda),\quad E(X)=D(X)=\lambda$

$X \sim U(a,b),\quad E(X) = \frac{a+b}{2},\quad D(X)=\frac{(b-a)^2}{12}$

$X \sim Exp(\lambda),\quad E(X)=\frac{1}{\lambda},\quad D(X) = \frac{1}{\lambda^2}$

$X \sim N(\mu, \sigma^2),\quad E(X)=\mu,\quad D(X)=\sigma^2$

协方差的性质

$cov(aX,bY)=ab \cdot cov(Y,X)$
$cov(X_1+X_2, Y)=cov(X_1,Y)+cov(X_2,Y)$

期望方差等几个等价命题

$E(XY)=E(X)E(Y)$
$D(X\pm Y)=D(X) + D(Y)$
$cov(X,Y)=0$
$\rho = 0$

X、Y 独立是以上命题的充分条件