系列笔记
参考
基本概念
基本事件
随机试验发生的一个简单的事件。若干基本事件组合成 复合事件。
样本空间
由全体基本事件所组成的集合,每个基本事件称为 样本点。
随机事件
样本空间的一个子集。
互斥与对立
事件 A 与 B 互斥: A∩B=∅ \
事件 A 与 B 对立: A∩B=∅ 且 A∪B=Ω
相互独立
事件 A,B 满足: P(AB)=P(A)P(B), 即 一事件的发生不会影响到另一事件发生的概率,与 互斥事件 明显不同。
事件 A, B 相互独立,则 A 与 ¯B, ¯A 与 B, ¯A 与 B 相互独立。
完备事件组
设 Ω 为样本空间,B1,B2,…Bn 为一组对立事件,即:
- Bi∩Bj=∅
- B1∪B2∪…∪Bn=Ω
称 B1,B2,…Bn 为 Ω 的一个 划分 或 完备事件组。
古典概率
P(A)=A所含基本事件个数基本事件总数
几何型概率: 每个事件发生的概率只与构成该事件区域的长度(面积或体积或度数)成比例
随机变量
设 Ω 是随机试验的样本空间,若对于每个样本点 ω∈Ω, 都有 唯一的实数 X(ω) 与之对应,称 X 为随机变量。由定义可知,随机变量实质上是函数。
分布函数
设 Ω 是随机试验的样本空间, x 是任意实数,称函数
F(x)=PX≤x=Pω:X(ω)≤x
为 随机变量 X 的分布函数, F(x) 也可记为 FX(x)
概率分布
狭义地,指随机变量的概率分布函数
n 维随机变量
n 个随机变量 (X1,X2,…,Xn) 同一个样本空间
联合分布函数
F(x,y)=PX≤x,Y≤y
FX(x),FY(y) 分别为 边缘分布函数, 有:
$$ FX(x) = \lim{y \rightarrow +\infty} F(x,y) $$
离散型随机变量与及其分布
离散型随机变量
全部可能的取值只有 有限个 或 可列无穷个 的随机变量。\
离散型随机变量的 分布律: PX=xi=pi, 常用表格表示。
伯努利分布
又称 两点分布, 0-1分布, 由 伯努利试验 得到,其样本空间只有两个对立的样本点。
二项分布
n 次重复独立的伯努利试验称为 n 重伯努利试验。\
二项分布(Binomial Distribution)是 n 重伯努利试验中成功次数的离散概率分布,记每次试验的成功概率为 p,成功次数为 k,随机变量 X=k,则 X 的分布律为:
PX=k=Pn(k)=Cknpk(1−p)n−k
X 服从二项分布,记 X∼B(n,p)。 X 可视作 n 个同伯努利分布随机变量之和。
几何分布
- 在伯努利试验中,得到一次成功所需要的試驗次数 X
- 在得到第一次成功之前所经历的失败次数 Y = X − 1
X,Y 服从几何分布,其分布律分别为
PX=k=(1−p)kp.PY=k=(1−p)k−1p
因其分布律为等比数列,又称几何数列而得名。
超几何分布
从 N 个物件中不放回地抽取 n 个,抽取到(初始)总数为 M 的物件的个数 X=k 服从超几何分布,记 X∼H(n,M,N), X 的分布律为:
$$ P{ X=k } = \frac{CM^kC{N-M}^{n-k}}{C_N^n} $$
因其分布律数列前后项之比是一个关于 k 的函数,故称为超几何分布。如果 N,M 无穷大,每次抽出指定物件的概率几乎不变,退化为二项分布。
泊松分布
泊松分布由二项分布 极限近似推导 而成,当 X∼B(n,p) 中 n 很大 p 很小 时,可视为 X 近似服从泊松分布(λ=np),记 X∼P(λ), 其分布律为:
P(X=k)=λkk!e−λ
泊松分布可用于描述随机事件发生的次数,如某一服务设施到达的人数,其中 λ 是随机事件的平均发生次数。
连续型随机变量与及其分布
连续型随机变量与概率密度函数
对随机变量 X 的分布函数 F(x), 存在非负函数 f(x), 满足
F(x)=∫x−∞f(u)du
则 X 是 连续型随机变量, 称 f(x) 为 X 的 概率密度函数。 注意, f(x) 可积而不一定连续, 故 F(x) 不一定可导。
均匀分布
X∼U(a,b), 概率密度:
f(x) = \left{ \begin{array}{l} \frac{1}{b-a},\quad a < x < b \ 0, \quad 其它 \end{array} \right.
指数分布
X∼Exp(λ), 概率密度:
f(x) = \left{ \begin{array}{l} \lambda e^{-\lambda x},\quad x \ge 0 \ 0, \quad x < 0 \end{array} \right.
指数分布描述独立随机事件发生的间隔,如电子元件下次损坏的时间,其中 λ 为平均发生次数。具有 无记忆性:
PX>t+s |X>t=PX>s
正态分布
X∼N(μ,σ2), 概率密度:
φ(x;μ,σ2)=1σ√2πexp(−(x−μ)22σ2)
正态分布具有可加性: X∼N(μ1,σ21),Y∼N(μ2,σ22), 则 X±Y∼N(μ1±μ2,σ21+σ22)
标准正态分布
X∼N(0,1), 概率密度:
φ(x)=1√2πexp(−x22)
上侧 α 分位数
对连续型随机变量 X:
$$ P{ X \ge u\alpha } = \int{u_\alpha}^{+\infty} f(x) dx = \alpha $$
称 uα 为上侧 α 分位数
随机变量的数字特征
(数学)期望
离散型:
E(X)=∞∑i=1xipi
连续型:
E(X)=∫+∞−∞xf(x)dx
又称随机变量 X 的 均值。
方差
D(X)=E[X−E(X)]2
常用计算 D(X)=E(X2)−[E(X)]2
标准差 或 均方差: σ(X)=√D(X)
协方差
cov(X,Y)=E[X−E(X)][Y−E(Y)]
特别有 D(X)=cov(X,X)
常用计算: cov(X,Y)=E(XY)−E(X)E(Y)
相关系数
ρXY=cov(X,Y)√D(X)D(Y)
$\rho{XY} \in [-1,1],当\rho{XY}=0,称X,\;Y$ 不相关,当 $\rho{XY}=1$, 称 正相关,当 $\rho{XY}=-1$, 称 负相关。
若 X 与 Y 相互独立,则 X 与 Y 不相关,反之则不一定
矩
k 阶原点矩:
γk=E(Xk)
k 阶中心矩:
μk=E(X−E(X))k
k 阶绝对原点矩: αk=E(|X|k)\
k 阶绝对中心矩: βk=E|X−E(X)|k
一阶中心矩 μ1=0, 二阶中心矩 μ2 即方差
公式
概率运算公式
加法公式
P(A∪B)=P(A)+P(B)−P(AB)
减法公式
P(A−B)=P(A¯B)=P(A)−P(AB)
乘法公式
P(AB)=P(B)P(A|B)
条件概率
P(A|B)=P(AB)P(B)(P(B)>0)
全概率公式
P(A)=n∑i=1P(Bi)P(A|Bi)
其中 B1,B2,…Bn 为完备事件组。
贝叶斯公式
$$ P(B_i | A)=\frac{ P(B_i)P(A|Bi) }{ \sum{j=1}^n P(B_j)P(A|B_j) } $$
其中 B1,B2,…Bn 为完备事件组。
概率由分布函数计算
Pa<X≤b=F(b)−F(a)
PX<x0=F(x0−0)
PX=x0=F(x0)−F(x0−0)
Px1<X≤x2,y1<Y≤y2=F(x2,y2)−F(x1,y2)−F(x2,y1)+F(x1,y1)
正态分布计算
X∼N(μ,σ2), 标准正态分布函数 Φ(x), 有:
P(x1<X≤x2)=Φ(x2−μσ)−Φ(x1−μσ)
定理
分布函数的性质
- 单调不减
- F(x)∈[0,1] 且 $\lim{x\rightarrow -\infty} F(x)=0,\lim{x\rightarrow +\infty} F(x)=1$
- 右连续,即 F(x+0)=F(x)
概率密度函数性质
- f(x)≥0
- ∫+∞−∞f(x)dx=1
- $P{x_1 \le X \le x2} = \int{x_1}^{x_2} f(x) dx$
- 若 f(x) 可导, F′(x)=f(x)
- 分布函数 F(x) 连续
- P(X=x0)=0
期望的性质
- 对常数 C 有 E(C)=C
- 对常数 C 有 E(CX)=CE(X)
- E(X+Y)=E(X)+E(Y)
- X,Y 相互独立 E(XY)=E(X)E(Y)
方差的性质
- 对常数 C 有 D(C)=0
- 对常数 C 有 D(CX)=C2D(X)
- D(X±Y)=D(X)+D(Y)±2E[X−E(X)][Y−E(Y)]=D(X)+D(Y)±2cov(X,Y)
- X,Y 相互独立,有 D(X±Y)=D(X)+D(Y)
- 对常数 C 有 D(X+C)=D(X)
常见分布的期望与方差
X∼B(n,p),E(X)=np,D(X)=np(1−p)
X∼P(λ),E(X)=D(X)=λ
X∼U(a,b),E(X)=a+b2,D(X)=(b−a)212
X∼Exp(λ),E(X)=1λ,D(X)=1λ2
X∼N(μ,σ2),E(X)=μ,D(X)=σ2
协方差的性质
- cov(aX,bY)=ab⋅cov(Y,X)
- cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y)
期望方差等几个等价命题
- E(XY)=E(X)E(Y)
- D(X±Y)=D(X)+D(Y)
- cov(X,Y)=0
- ρ=0
X、Y 独立是以上命题的充分条件