系列笔记
参考
基本概念
基本事件
随机试验发生的一个简单的事件。若干基本事件组合成 复合事件。
样本空间
由全体基本事件所组成的集合，每个基本事件称为 样本点。
随机事件
样本空间的一个子集。
互斥与对立
事件 $A$ 与 $B$ 互斥： $A \cap B=\varnothing$ \
事件 $A$ 与 $B$ 对立： $A \cap B=\varnothing$ 且 $A \cup B=\Omega$
相互独立
事件 A，B 满足： $P(AB)=P(A)P(B)$， 即 一事件的发生不会影响到另一事件发生的概率，与 互斥事件 明显不同。
事件 A, B 相互独立，则 A 与 $\overline{B}$， $\overline{A}$ 与 B， $\overline{A}$ 与 B 相互独立。
完备事件组
设 $\Omega$ 为样本空间，$B_1,\;B_2,\;…B_n$ 为一组对立事件，即：
- $B_i \cap B_j = \varnothing$
- $B_1 \cup B_2 \cup … \cup B_n = \Omega$
称 $B_1,\;B_2,\;…B_n$ 为 $\Omega$ 的一个 划分 或 完备事件组。
古典概率
$$ P(A) = \frac{A 所含基本事件个数}{基本事件总数} $$
几何型概率： 每个事件发生的概率只与构成该事件区域的长度（面积或体积或度数）成比例
随机变量
设 $\Omega$ 是随机试验的样本空间，若对于每个样本点 $\omega \in \Omega$， 都有 唯一的实数 $X(\omega)$ 与之对应，称 $X$ 为随机变量。由定义可知，随机变量实质上是函数。
分布函数
设 $\Omega$ 是随机试验的样本空间， $x$ 是任意实数，称函数
$$ F(x) = P{X \le x} = P{ \omega : X(\omega) \le x } $$
为 随机变量 X 的分布函数， $F(x)$ 也可记为 $F_X(x)$
概率分布
狭义地，指随机变量的概率分布函数
n 维随机变量
n 个随机变量 $(X_1, X_2,…,X_n)$ 同一个样本空间
联合分布函数
$$ F(x,y) = P{ X \le x, Y \le y } $$
$F_X(x),\; F_Y(y)$ 分别为 边缘分布函数， 有：
$$ FX(x) = \lim{y \rightarrow +\infty} F(x,y) $$
离散型随机变量与及其分布
离散型随机变量
全部可能的取值只有 有限个 或 可列无穷个 的随机变量。\
离散型随机变量的 分布律： $P{ X=x_i } = p_i$， 常用表格表示。
伯努利分布
又称 两点分布， 0-1分布， 由 伯努利试验 得到，其样本空间只有两个对立的样本点。
二项分布
n 次重复独立的伯努利试验称为 n 重伯努利试验。\
二项分布（Binomial Distribution）是 n 重伯努利试验中成功次数的离散概率分布，记每次试验的成功概率为 p，成功次数为 k，随机变量 X=k，则 X 的分布律为：
$$ P{X=k}=P_n(k) = C_n^k p^k(1-p)^{n-k} $$
X 服从二项分布，记 $X\sim B(n,p)$。 X 可视作 n 个同伯努利分布随机变量之和。
几何分布
- 在伯努利试验中，得到一次成功所需要的試驗次数 X
- 在得到第一次成功之前所经历的失败次数 Y = X − 1
X，Y 服从几何分布，其分布律分别为
$$ P{ X=k } = (1-p)^kp.\quad P{ Y=k } = (1-p)^{k-1}p$$
因其分布律为等比数列，又称几何数列而得名。
超几何分布
从 N 个物件中不放回地抽取 n 个，抽取到（初始）总数为 M 的物件的个数 X=k 服从超几何分布，记 $X \sim H(n,M,N)$, $X$ 的分布律为：
$$ P{ X=k } = \frac{CM^kC{N-M}^{n-k}}{C_N^n} $$
因其分布律数列前后项之比是一个关于 k 的函数，故称为超几何分布。如果 N，M 无穷大，每次抽出指定物件的概率几乎不变，退化为二项分布。
泊松分布
泊松分布由二项分布 极限近似推导 而成，当 $X \sim B(n,p)$ 中 $n$ 很大 $p$ 很小 时，可视为 X 近似服从泊松分布（$\lambda=np$），记 $X \sim P(\lambda)$， 其分布律为：
$$ P(X=k) = \frac{\lambda^k}{k!} e^{-\lambda} $$
泊松分布可用于描述随机事件发生的次数，如某一服务设施到达的人数，其中 $\lambda$ 是随机事件的平均发生次数。
连续型随机变量与及其分布
连续型随机变量与概率密度函数
对随机变量 X 的分布函数 $F(x)$， 存在非负函数 $f(x)$， 满足
$$ F(x) = \int_{-\infty}^x f(u) du $$
则 X 是 连续型随机变量， 称 $f(x)$ 为 X 的 概率密度函数。 注意， $f(x)$ 可积而不一定连续， 故 F(x) 不一定可导。
均匀分布
$X \sim U(a,b)$， 概率密度：
$$ f(x) = \left{ \begin{array}{l}
\frac{1}{b-a},\quad a < x < b \
0, \quad 其它
\end{array} \right. $$
指数分布
$X \sim Exp(\lambda)$， 概率密度：
$$ f(x) = \left{ \begin{array}{l}
\lambda e^{-\lambda x},\quad x \ge 0 \
0, \quad x < 0
\end{array} \right. $$
指数分布描述独立随机事件发生的间隔，如电子元件下次损坏的时间，其中 $\lambda$ 为平均发生次数。具有 无记忆性：
$$ P{ X > t + s \ | X > t} = P{ X > s } $$
正态分布
$X \sim N(\mu, \sigma^2)$， 概率密度：
$$ \varphi(x;\mu, \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi}} \exp( \frac{-(x-\mu)^2}{2 \sigma^2} ) $$
正态分布具有可加性： $X\sim N(\mu_1, \sigma_1^2),\; Y\sim N(\mu_2, \sigma_2^2)$， 则 $X\pm Y \sim N(\mu_1 \pm \mu_2, \sigma_1^2+\sigma_2^2)$
标准正态分布
$X \sim N(0,1)$， 概率密度：
$$ \varphi(x) = \frac{1}{\sqrt{2 \pi}} \exp( \frac{-x^2}{2} ) $$
上侧 $\alpha$ 分位数
对连续型随机变量 X：
$$ P{ X \ge u\alpha } = \int{u_\alpha}^{+\infty} f(x) dx = \alpha $$
称 $u_\alpha$ 为上侧 $\alpha$ 分位数
随机变量的数字特征
（数学）期望
离散型：
$$ E(X) = \sum_{i=1}^{\infty} x_i p_i $$
连续型：
$$ E(X) = \int_{-\infty}^{+\infty} x f(x) dx $$
又称随机变量 X 的 均值。
方差
$$ D(X)=E{[X-E(X)]^2} $$
常用计算 $D(X)=E(X^2)-[E(X)]^2$
标准差 或 均方差： $\sigma(X)=\sqrt{D(X)}$
协方差
$$ cov(X,Y) = E{ [X-E(X)] [Y-E(Y)] } $$
特别有 $D(X) = cov(X,X)$
常用计算： $cov(X,Y)=E(XY)-E(X)E(Y)$
相关系数
$$ \rho_{XY} = \frac{cov(X,Y)}{\sqrt{D(X)D(Y)}} $$
$\rho{XY} \in [-1,1]$， 当 $\rho{XY}=0$， 称 $X,\;Y$ 不相关，当 $\rho{XY}=1$， 称 正相关，当 $\rho{XY}=-1$， 称 负相关。
若 X 与 Y 相互独立，则 X 与 Y 不相关，反之则不一定
矩
k 阶原点矩：
$$ \gamma_k = E(X^k) $$
k 阶中心矩：
$$ \mu_k = E{ (X-E(X))^k } $$
k 阶绝对原点矩： $\alpha_k = E(|X|^k)$\
k 阶绝对中心矩： $\beta_k = E{ |X-E(X)|^k }$
一阶中心矩 $\mu_1=0$， 二阶中心矩 $\mu_2$ 即方差
公式
概率运算公式
加法公式
$$ P(A\cup B)=P(A) + P(B) - P(AB) $$
减法公式
$$ P(A-B)=P(A\overline{B})=P(A)-P(AB) $$
乘法公式
$$ P(AB) = P(B)P(A|B) $$
条件概率
$$ P(A|B) = \frac{P(AB)}{P(B)} \quad (P(B)>0) $$
全概率公式
$$ P(A) = \sum_{i=1}^{n} P(B_i)P(A|B_i) $$
其中 $B_1,\;B_2,\;…B_n$ 为完备事件组。
贝叶斯公式
$$ P(B_i | A)=\frac{ P(B_i)P(A|Bi) }{ \sum{j=1}^n P(B_j)P(A|B_j) } $$
其中 $B_1,\;B_2,\;…B_n$ 为完备事件组。
概率由分布函数计算
$$ P{ a < X \le b } = F(b) - F(a) $$
$$ P{ X < x_0 } = F(x_0 - 0) $$
$$ P{ X = x_0 } = F(x_0) - F(x_0 - 0) $$
$$ P{ x_1 < X \le x_2,\;\; y_1 < Y \le y_2 }=F(x_2,y_2) - F(x_1,y_2) - F(x_2, y_1) + F(x_1,y_1) $$
正态分布计算
$X \sim N(\mu, \sigma^2)$， 标准正态分布函数 $\Phi(x)$， 有：
$$ P(x_1 < X \le x_2) = \Phi(\frac{x_2-\mu}{\sigma}) - \Phi(\frac{x_1-\mu}{\sigma}) $$
定理
分布函数的性质
- 单调不减
- $F(x)\in[0,1]$ 且 $\lim{x\rightarrow -\infty} F(x)=0$, $\lim{x\rightarrow +\infty} F(x)=1$
- 右连续，即 $F(x+0)=F(x)$
概率密度函数性质
- $f(x) \ge 0$
- $\int_{-\infty}^{+\infty} f(x) dx=1$
- $P{x_1 \le X \le x2} = \int{x_1}^{x_2} f(x) dx$
- 若 $f(x)$ 可导， $F’(x) = f(x)$
- 分布函数 $F(x)$ 连续
- $P(X=x_0) = 0$
期望的性质
- 对常数 C 有 $E(C) = C$
- 对常数 C 有 $E(CX)=CE(X)$
- $E(X+Y)=E(X)+E(Y)$
- $X,\; Y$ 相互独立 $E(XY)=E(X)E(Y)$
方差的性质
- 对常数 C 有 $D(C)=0$
- 对常数 C 有 $D(CX) = C^2 D(X)$
- $D(X \pm Y)=D(X)+D(Y) \pm 2E{ [X-E(X)] [Y-E(Y)] }=D(X)+D(Y) \pm 2 cov(X,Y)$
- $X,\; Y$ 相互独立，有 $D(X \pm Y)=D(X)+D(Y)$
- 对常数 C 有 $D(X+C)=D(X)$
常见分布的期望与方差
$$ X\sim B(n,p),\quad E(X)=np,\quad D(X)=np(1-p) $$
$$ X \sim P(\lambda),\quad E(X)=D(X)=\lambda $$
$$ X \sim U(a,b),\quad E(X) = \frac{a+b}{2},\quad D(X)=\frac{(b-a)^2}{12} $$
$$ X \sim Exp(\lambda),\quad E(X)=\frac{1}{\lambda},\quad D(X) = \frac{1}{\lambda^2} $$
$$ X \sim N(\mu, \sigma^2),\quad E(X)=\mu,\quad D(X)=\sigma^2 $$
协方差的性质
- $cov(aX,bY)=ab \cdot cov(Y,X)$
- $cov(X_1+X_2, Y)=cov(X_1,Y)+cov(X_2,Y)$
期望方差等几个等价命题
- $E(XY)=E(X)E(Y)$
- $D(X\pm Y)=D(X) + D(Y)$
- $cov(X,Y)=0$
- $\rho = 0$
X、Y 独立是以上命题的充分条件