Loading [MathJax]/jax/output/HTML-CSS/jax.js

概率论与数理统计

系列笔记

参考

基本概念

基本事件

随机试验发生的一个简单的事件。若干基本事件组合成 复合事件

样本空间

由全体基本事件所组成的集合,每个基本事件称为 样本点

随机事件

样本空间的一个子集。

互斥与对立

事件 AB 互斥: AB= \
事件 AB 对立: AB=AB=Ω

相互独立

事件 A,B 满足: P(AB)=P(A)P(B), 即 一事件的发生不会影响到另一事件发生的概率,与 互斥事件 明显不同。

事件 A, B 相互独立,则 A 与 ¯B¯A 与 B, ¯A 与 B 相互独立。

完备事件组

Ω 为样本空间,B1,B2,Bn 为一组对立事件,即:

  • BiBj=
  • B1B2Bn=Ω

B1,B2,BnΩ 的一个 划分完备事件组

古典概率

P(A)=A

几何型概率: 每个事件发生的概率只与构成该事件区域的长度(面积或体积或度数)成比例

随机变量

Ω 是随机试验的样本空间,若对于每个样本点 ωΩ, 都有 唯一的实数 X(ω) 与之对应,称 X 为随机变量。由定义可知,随机变量实质上是函数

分布函数

Ω 是随机试验的样本空间, x 是任意实数,称函数

F(x)=PXx=Pω:X(ω)x

随机变量 X 的分布函数F(x) 也可记为 FX(x)

概率分布

狭义地,指随机变量的概率分布函数

n 维随机变量

n 个随机变量 (X1,X2,,Xn) 同一个样本空间

联合分布函数

F(x,y)=PXx,Yy

FX(x),FY(y) 分别为 边缘分布函数, 有:

$$ FX(x) = \lim{y \rightarrow +\infty} F(x,y) $$

离散型随机变量与及其分布

离散型随机变量

全部可能的取值只有 有限个可列无穷个 的随机变量。\
离散型随机变量的 分布律PX=xi=pi, 常用表格表示。

伯努利分布

又称 两点分布0-1分布, 由 伯努利试验 得到,其样本空间只有两个对立的样本点。

二项分布

n 次重复独立的伯努利试验称为 n 重伯努利试验。\
二项分布(Binomial Distribution)是 n 重伯努利试验中成功次数的离散概率分布,记每次试验的成功概率为 p,成功次数为 k,随机变量 X=k,则 X 的分布律为:

PX=k=Pn(k)=Cknpk(1p)nk

X 服从二项分布,记 XB(n,p)。 X 可视作 n 个同伯努利分布随机变量之和。

几何分布

  • 在伯努利试验中,得到一次成功所需要的試驗次数 X
  • 在得到第一次成功之前所经历的失败次数 Y = X − 1

X,Y 服从几何分布,其分布律分别为

PX=k=(1p)kp.PY=k=(1p)k1p

因其分布律为等比数列,又称几何数列而得名。

超几何分布

从 N 个物件中不放回地抽取 n 个,抽取到(初始)总数为 M 的物件的个数 X=k 服从超几何分布,记 XH(n,M,N), X 的分布律为:

$$ P{ X=k } = \frac{CM^kC{N-M}^{n-k}}{C_N^n} $$

因其分布律数列前后项之比是一个关于 k 的函数,故称为超几何分布。如果 N,M 无穷大,每次抽出指定物件的概率几乎不变,退化为二项分布。

泊松分布

泊松分布由二项分布 极限近似推导 而成,当 XB(n,p)n 很大 p 很小 时,可视为 X 近似服从泊松分布(λ=np),记 XP(λ), 其分布律为:

P(X=k)=λkk!eλ

泊松分布可用于描述随机事件发生的次数,如某一服务设施到达的人数,其中 λ 是随机事件的平均发生次数。

连续型随机变量与及其分布

连续型随机变量与概率密度函数

对随机变量 X 的分布函数 F(x), 存在非负函数 f(x), 满足

F(x)=xf(u)du

则 X 是 连续型随机变量, 称 f(x) 为 X 的 概率密度函数。 注意, f(x) 可积而不一定连续, 故 F(x) 不一定可导。

均匀分布

XU(a,b), 概率密度:

f(x) = \left{ \begin{array}{l} \frac{1}{b-a},\quad a < x < b \ 0, \quad 其它 \end{array} \right.

指数分布

XExp(λ), 概率密度:

f(x) = \left{ \begin{array}{l} \lambda e^{-\lambda x},\quad x \ge 0 \ 0, \quad x < 0 \end{array} \right.

指数分布描述独立随机事件发生的间隔,如电子元件下次损坏的时间,其中 λ 为平均发生次数。具有 无记忆性

PX>t+s |X>t=PX>s

正态分布

XN(μ,σ2), 概率密度:

φ(x;μ,σ2)=1σ2πexp((xμ)22σ2)

正态分布具有可加性: XN(μ1,σ21),YN(μ2,σ22), 则 X±YN(μ1±μ2,σ21+σ22)

标准正态分布

XN(0,1), 概率密度:

φ(x)=12πexp(x22)

上侧 α 分位数

对连续型随机变量 X:

$$ P{ X \ge u\alpha } = \int{u_\alpha}^{+\infty} f(x) dx = \alpha $$

uα 为上侧 α 分位数

随机变量的数字特征

(数学)期望

离散型:

E(X)=i=1xipi

连续型:

E(X)=+xf(x)dx

又称随机变量 X 的 均值

方差

D(X)=E[XE(X)]2

常用计算 D(X)=E(X2)[E(X)]2

标准差均方差σ(X)=D(X)

协方差

cov(X,Y)=E[XE(X)][YE(Y)]

特别有 D(X)=cov(X,X)

常用计算: cov(X,Y)=E(XY)E(X)E(Y)

相关系数

ρXY=cov(X,Y)D(X)D(Y)

$\rho{XY} \in [-1,1]\rho{XY}=0X,\;Y$ 不相关,当 $\rho{XY}=1$, 称 正相关,当 $\rho{XY}=-1$, 称 负相关

若 X 与 Y 相互独立,则 X 与 Y 不相关,反之则不一定

k 阶原点矩

γk=E(Xk)

k 阶中心矩

μk=E(XE(X))k

k 阶绝对原点矩αk=E(|X|k)\
k 阶绝对中心矩βk=E|XE(X)|k

一阶中心矩 μ1=0, 二阶中心矩 μ2 即方差

公式

概率运算公式

加法公式

P(AB)=P(A)+P(B)P(AB)

减法公式

P(AB)=P(A¯B)=P(A)P(AB)

乘法公式

P(AB)=P(B)P(A|B)

条件概率

P(A|B)=P(AB)P(B)(P(B)>0)

全概率公式

P(A)=ni=1P(Bi)P(A|Bi)

其中 B1,B2,Bn 为完备事件组。

贝叶斯公式

$$ P(B_i | A)=\frac{ P(B_i)P(A|Bi) }{ \sum{j=1}^n P(B_j)P(A|B_j) } $$

其中 B1,B2,Bn 为完备事件组。

概率由分布函数计算

Pa<Xb=F(b)F(a)

PX<x0=F(x00)

PX=x0=F(x0)F(x00)

Px1<Xx2,y1<Yy2=F(x2,y2)F(x1,y2)F(x2,y1)+F(x1,y1)

正态分布计算

XN(μ,σ2), 标准正态分布函数 Φ(x), 有:

P(x1<Xx2)=Φ(x2μσ)Φ(x1μσ)

定理

分布函数的性质

  • 单调不减
  • F(x)[0,1] 且 $\lim{x\rightarrow -\infty} F(x)=0,\lim{x\rightarrow +\infty} F(x)=1$
  • 右连续,即 F(x+0)=F(x)

概率密度函数性质

  • f(x)0
  • +f(x)dx=1
  • $P{x_1 \le X \le x2} = \int{x_1}^{x_2} f(x) dx$
  • f(x) 可导, F(x)=f(x)
  • 分布函数 F(x) 连续
  • P(X=x0)=0

期望的性质

  • 对常数 C 有 E(C)=C
  • 对常数 C 有 E(CX)=CE(X)
  • E(X+Y)=E(X)+E(Y)
  • X,Y 相互独立 E(XY)=E(X)E(Y)

方差的性质

  • 对常数 C 有 D(C)=0
  • 对常数 C 有 D(CX)=C2D(X)
  • D(X±Y)=D(X)+D(Y)±2E[XE(X)][YE(Y)]=D(X)+D(Y)±2cov(X,Y)
  • X,Y 相互独立,有 D(X±Y)=D(X)+D(Y)
  • 对常数 C 有 D(X+C)=D(X)

常见分布的期望与方差

XB(n,p),E(X)=np,D(X)=np(1p)

XP(λ),E(X)=D(X)=λ

XU(a,b),E(X)=a+b2,D(X)=(ba)212

XExp(λ),E(X)=1λ,D(X)=1λ2

XN(μ,σ2),E(X)=μ,D(X)=σ2

协方差的性质

  • cov(aX,bY)=abcov(Y,X)
  • cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y)

期望方差等几个等价命题

  • E(XY)=E(X)E(Y)
  • D(X±Y)=D(X)+D(Y)
  • cov(X,Y)=0
  • ρ=0

X、Y 独立是以上命题的充分条件