重积分

发表于 2016-09-13 | 分类于 Math

微积分笔记

意义

微元 $d\Omega$	典型具象	$f(x) \cdot d\Omega$ 典型具象
$dx$	线段微元	面积或线质量
$dx\;dy$	面积微元	体积或面质量
$dx\;dy\;dz$	体积微元	体积质量

用 $f(x) dx$ 或 $1\cdot dx\,dy$ 都可以在数值上求面积，类似的还有体积

性质

线性， 区域可加性， 保序性 可见微积分笔记中定积分性质。

估值定理

设 K 与 k 分别为 f(M) 在闭区间 $\Omega$ 上的最大最小值，则

$$ k \cdot (\Omega 的度量) \le \int_\Omega f(M) d\Omega \le K \cdot (\Omega 的度量) $$

积分中值定理

设 $f(M)$ 在闭区间 $\Omega$ 上连续，则 $\exists M_0 \in \Omega$，使得

$$ \int_\Omega f(M) d\Omega = f(M_0) \cdot (\Omega 的度量) $$

对称性

当积分域 $\Omega$ 关于 $x=0$ 对称时，\
若被积函数 $f(M)$ 关于变量 $x$ 为奇函数，则 $\int\Omega f(M) d\Omega=0$ \
若被积函数 $f(M)$ 关于变量 $x$ 为偶函数，则 $\int\Omega f(M) d\Omega=2\int_{\Omega(x>0)} f(M) d\Omega$

二重积分计算

直角坐标系

以下以先 x 后 y 为例：\
先积 x 的积分区域应该 可沿 x 轴投影而不重叠 —— 所有平行于 x 轴的直线与积分区域的交点不超过 2 个 —— 如果不是，可考虑交换积分顺序或对区域分割。

作 x - y 图
画 x 轴平行线，探测 x 积分区间 $(x_1(y),\; x_2(y))$
将积分区域沿 x 轴投影，得到 y 积分区间 $(y_1, y_2)$
用公式积分，注意对 x 积分时，视 y 为常数

积分公式：

$$ \int_{y_1}^{y2} \int{x_1(y)}^{x_2(y)} f(x, y) dx\,dy $$

极坐标系

r 表示到原点距离， $\theta$ 表示与 x 轴夹角。如果被积函数含有 $x^2+y^2$， $\frac{y}{x}$ 或 D 的边界含有圆弧时，可以考虑用极坐标。直角坐标与极坐标互换：

$$ \underset{D}{\int\int} f(x,y) dx\,dy = \underset{D}{\int\int} f(r \cos \theta, r \sin \theta) r \,dr\,d\theta $$

极坐标系积分思想与直角坐标系积分类似。习惯先积 $r$ 再积 $\theta$。

三重积分计算

直角坐标 —— 投影法

又称 先一后二。参考二重积分，其积分过程大概是：作轴平行线，找积分区间，沿轴投影，如此循环。以下以先 z 后 x、y 的顺序积分。\
同样，先积 z 的积分区域应该可沿 z 轴投影而不重叠，如果不是，可考虑交换积分顺序或对区域分割。

作 x - y - z 图
画 z 轴平行线，探测 z 积分区间 $(z_1(x,y), z_2(x,y))$
将积分区域沿 z 轴投影，同时对 z 积分
对 x、y 继续做二重积分

积分公式：

$$ \underset{D{xy}}{\int\int}dx\,dy\int{z_1(x,y)}^{z_2(x,y)} f(x,y,z) dz $$

直角坐标 —— 截面法

又称 切片法 或 先二后一。以下以先 x、y 后 z 为例：

习惯上满足 2 个条件，先二后一比先一后二更容易：

被积函数是关于 z 的一元函数 $f(z)$
垂直于 z 轴的截面易知，可含参数 z

计算步骤：

作 x - y -z 图
作垂直于 z 轴的截面，计算 x、y 积分区域 $D_{xy}$, 其中 z 可视作常数
将整个积分区域投影到 z 轴，得到 z 的积分区间 $(z_1, z_2)$
用积分公式计算

$$ \int_{z_1}^{z2} f(z) dz \underset{D{xy}}{\int\int} dx\,dy $$

柱面坐标系

底面为极坐标系，z 轴与之垂直。与直角坐标系的转化：

$$ \underset{D}{\int\int\int} f(x,y,z) dx\,dy\,dz= \underset{D}{\int\int\int} f(r\cos \theta, r\sin \theta, z) r \, dr\, d\theta\,dz $$

如果被积函数含有如 $x^2+y^2$ 形式，或 D 的边界含有圆柱时，使用柱面积分可能比较容易。积分步骤参考直角坐标系的投影法及截面法。

球面坐标系

$\rho$ —— 点到原点距离
$\varphi$ —— 与正 z 轴夹角 $\in [0,\pi]$
$\theta$ —— 与 x 轴夹角

与直角坐标系的转化：

$$ \underset{D}{\int\int\int} f(x,y,z) dx\,dy\,dz= \underset{D}{\int\int\int} f(\rho \sin \varphi \cos \theta,\; \rho \sin \varphi \sin \theta,\; \rho \cos \varphi) \rho^2 \sin \varphi \, d\rho \, d\varphi\,d\theta $$

如果被积函数含有如 $x^2+y^2+z^2$ 形式，或 D 的边界含有球时，使用球面积分可能比较容易。积分步骤参考直角体系的投影法。

物理应用

质心

密度均匀 时，有

$$ \overline{x} = \frac{\int{\Omega} x \,d\Omega}{\int{\Omega} \,d\Omega},\quad \overline{y} = \frac{\int{\Omega} y \,d\Omega}{\int{\Omega} \,d\Omega},\quad \overline{z} = \frac{\int{\Omega} z \,d\Omega}{\int{\Omega} \,d\Omega} $$

解题技巧

变换积分顺序或方法

证明题中可能用上

轮换

被积函数与积分区域可轮换时适用

大数定律与中心极限定理

发表于 2016-09-10 | 分类于 Math

概率论与数理统计

参考：中心极限定律 - Vamei

随机变量序列收敛的定义

依概率收敛

有随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$，和随机变量（或常数） X，如果对任意给定的正数 $\epsilon$，有

$$ \lim_{n\rightarrow \infty} P{ |X_n-X| < \epsilon } = 1 $$

则称 $X_1,\;X_2,\;X_3,…,X_n,…$ 依概率收敛于 $X$

依分布收敛

有随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$，和随机变量（或常数） X，分别对应分布函数 $F_n(x)$ 和 $F(x)$，如果在 $F(x)$ 的连续点 $x$ 处均有：

$$ \lim_{n\rightarrow \infty} F_n(x) = F(x) $$

则称 $X_1,\;X_2,\;X_3,…,X_n,…$ 依分布收敛于 $X$

大数定律

随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$ 对应期望 $E(X_i)$ 都存在，对任意正实数 $\epsilon$ 有

$$ \lim_{n\rightarrow \infty} P{|\frac{1}{n}\sum X_i - \frac{1}{n} \sum E(X_i) | < \epsilon } = 1 $$

即 $Y_n=\frac{1}{n}\sum X_i - \frac{1}{n} \sum E(X_i)$ （n=1, 2, 3…）依概率收敛于零，则称该随机变量序列服从大数定律。

切比雪夫大数定律

随机变量序列中每个变量期望与方差存在，且方差有界，则该随机变量序列服从大数定律

辛软大数定律

随机变量序列 相互独立同分布 (IID, Independent and Identically Distributed)，数学期望存在，则该随机变量序列服从大数定律

伯努利大数定律

设 m 是 n 重伯努利试验中事件 A 出现的次数， p 是 A 在每次试验中发生的频率，则对任意给定的正数 $\epsilon$，有

$$ \lim_{n \rightarrow \infty} P{ |\frac{m}{n} - p| < \epsilon } = 1 $$

其实是随机变量服从伯努利分布的辛软大数定律的形式

中心极限定理

随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$ 的 标准化随机变量序列 通项为

$$ Z_n = \frac{\sum X_i - \sum E(X_i)}{\sqrt{\sum D(X_i)}},\quad (n = 1,\;2,\;…) $$

记 $Z_n$ 的分布函数为 $F_n(z)$，如果满足

$$ \lim_{n\rightarrow \infty} F_n(z) = \Phi(z) $$

即随机变量序列 ${Z_n}$ 依分布收敛于标准正态分布，则称随机变量序列 $X_1,\;X_2,\;X_3,…,X_n,…$ 服从中心极限定理。

独立同分布中心极限定理

随机变量序列相互独立同分布，且期望与方差存在，则服从中心极限定理。

$E(X)=\mu,\;D(x)=\sigma$，常用计算公式：

$$ P{ x1 \le \sum{i=1}^n X_i \le x_2 } = P{ \frac{x_1 - n\mu}{\sqrt{n\sigma}} \le Z_n \le \frac{x_2 - n\mu}{\sqrt{n\sigma}}} \approx \Phi(\frac{x_2 - n\mu}{\sqrt{n\sigma}}) - \Phi(\frac{x_1 - n\mu}{\sqrt{n\sigma}}) $$

棣莫弗——拉普拉斯中心极限定理

随机变量 $Y_n \sim B(n,p),\; (n=1,\;2,…)$，则对任意实数 $x$ 有

$$ \lim_{n \rightarrow \infty} P{ \frac{Y_n - np}{\sqrt{np(1-p)}} \le x} = \Phi(x) $$

其实是随机变量序列相互独立同伯努利分布的中心极限定理表现形式

二维随机变量及其概率分布

发表于 2016-09-08 | 分类于 Math

概率论与数理统计

参考：随机变量函数 - Vamei

联合分布函数

性质

$P { x_1 < X \le x_2,\;\; y_1 < Y \le y_2 } \ge 0$
分别对 x，y 单调不降，即 $x_1 < x_2$ 有 $F(x_1,y) \le F(x_2,y)$
对每个变量 F(x,y) 是右连续的，有 $\lim_{x\rightarrow x_0^+} F(x,y)= F(x_0,y)$
$0\le F(x,y) \le 1$ 且 $\lim{x\rightarrow -\infty} F(x,y) =0$ 且 $\lim{x\rightarrow +\infty,\;y\rightarrow +\infty} F(x,y) =1$

联合分布律

$$ P{ X = x_i, Y= yi } = p{ij} $$

性质

$p_{ij}$ 和为 1
$P{ X = xi}=p{i\cdot}$ 边缘分布函数

联合概率密度

$$ F(x,y) = \int{-\infty}^x \int{-\infty}^y f(u,v) \; du\;dv $$

边缘概率密度

$$ fX(x) = \int{-\infty}^{+\infty} f(x,y) dy $$

概率由密度函数计算

$$ P{ (X,Y) \in G } = \underset{G}{\int\int} f(x,y) d\sigma $$

二维均匀分布

$$ f(x,y) = \left{ \begin{array}{l}
\frac{1}{S(G)},\quad (x,y) \in G \
0,\quad (x,y) \notin G
\end{array} \right. $$

二维正态分布

$(X,Y) \sim N(\mu_1, \sigma^2; \mu_2, \sigma_2^2; \rho)$， $-1 < \rho < 1$

当 $\rho=0$，

$$ \varphi(x,y) = \frac{1}{2 \pi \sigma_1 \sigma_2} \exp(-\frac{1}{2} ( \frac{(x-\mu_1)^2}{\sigma_1^2} + \frac{(y-\mu_2)^2}{\sigma_2^2} ) ) $$

有：若 $(X,Y) \sim N(\mu_1, \sigma^2; \mu_2, \sigma_2^2; \rho)$，则 $X\sim N(\mu_1,\sigma_1^2)$, $Y\sim N(\mu_2,\sigma_2^2)$，所以二维正态随机变量的边缘分布仍为正态分布。

随机变量的独立性

满足 $P{ X \le x,\; Y\le y } = P{ X \le x} P{Y \le x}$，则 X 与 Y 相互独立。

离散型的等价条件： $P{ X = x,\; Y = y } = P{ X = x} P{Y = x}$

连续型的等价条件： $f(x,y)=f_X(x)f_Y(y)$

条件分布

条件分布律

对离散型，有：

$$ P{ X = x_i,\; Y = yi} = \frac{p{ij}}{p_{\cdot j}} $$

条件概率密度

若 $f(x,y)$， $f_Y(y)$ 在 $(x,y)$ 及邻域连续，则

$$ f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)} $$

条件概率计算：

$$ P{ a < X \le b | Y = c } = \inta^b f{X|Y}(x|c) dx $$

求解技巧

随机变量函数的分布

连续型单调函数

连续型随机变量 X 有概率密度 $f_X(x),\; x\in R$， $Y=g(X) \in (a,b)$ 为 可导单调 函数，则 Y 为连续型随机变量，其概率密度为：

$$ f_Y(y) = \left{ \begin{array}{l}
f_X(g^{-1}(y)) \cdot g^{-1’}(y),\quad y \in (a,b) \
0,\quad 其他
\end{array} \right. $$

来源： $f_Y(y)=F’(g^{-1}(y))$

一般解法

已知 $X$ 的概率密度 $f(x)$ 及 $Y=g(X)$

根据 $g(X)$ 对 $y$ 分段，注意 区间右连续
$F(y)=P{ g(X) \le y }$，求解 $X$ 的取值范围
根据 X 分布求解出 $F(y)$

求解条件概率密度

已知联合概率密度 $f(x,y)$，求解 $f_{X|Y}(x|y)$

作积分区域图
求解边缘概率密度 $f_Y(y)$
对 $y$ 分段讨论，求解条件概率密度

两个随机变量简单函数的概率密度

Z = X + Y

利用公式

$$ fZ(z) = \int{-\infty}^{+\infty} f(x, z-x) dx $$

求解 $f(x,y)$
转化 $f(x, z-x)$
作 z - x 积分区域图
利用公式求得 $f_Z(z)$，可能需要对 z 分段

一般方法

求解 $f(x,y)$
作 y - x 积分区域图
对 z 分段讨论，二重积分得到 z 的分布函数
对分布函数求导

概率论与数理统计

发表于 2016-09-02 | 分类于 Math

系列笔记

参考

基本概念

基本事件

随机试验发生的一个简单的事件。若干基本事件组合成 复合事件。

样本空间

由全体基本事件所组成的集合，每个基本事件称为 样本点。

随机事件

样本空间的一个子集。

互斥与对立

事件 $A$ 与 $B$ 互斥： $A \cap B=\varnothing$ \
事件 $A$ 与 $B$ 对立： $A \cap B=\varnothing$ 且 $A \cup B=\Omega$

相互独立

事件 A，B 满足： $P(AB)=P(A)P(B)$，即 一事件的发生不会影响到另一事件发生的概率，与 互斥事件 明显不同。

事件 A, B 相互独立，则 A 与 $\overline{B}$， $\overline{A}$ 与 B， $\overline{A}$ 与 B 相互独立。

完备事件组

设 $\Omega$ 为样本空间，$B_1,\;B_2,\;…B_n$ 为一组对立事件，即：

$B_i \cap B_j = \varnothing$
$B_1 \cup B_2 \cup … \cup B_n = \Omega$

称 $B_1,\;B_2,\;…B_n$ 为 $\Omega$ 的一个划分或 完备事件组。

古典概率

$$ P(A) = \frac{A 所含基本事件个数}{基本事件总数} $$

几何型概率：每个事件发生的概率只与构成该事件区域的长度（面积或体积或度数）成比例

随机变量

设 $\Omega$ 是随机试验的样本空间，若对于每个样本点 $\omega \in \Omega$，都有 唯一的实数 $X(\omega)$ 与之对应，称 $X$ 为随机变量。由定义可知，随机变量实质上是函数。

分布函数

设 $\Omega$ 是随机试验的样本空间， $x$ 是任意实数，称函数

$$ F(x) = P{X \le x} = P{ \omega : X(\omega) \le x } $$

为 随机变量 X 的分布函数， $F(x)$ 也可记为 $F_X(x)$

概率分布

狭义地，指随机变量的概率分布函数

n 维随机变量

n 个随机变量 $(X_1, X_2,…,X_n)$ 同一个样本空间

联合分布函数

$$ F(x,y) = P{ X \le x, Y \le y } $$

$F_X(x),\; F_Y(y)$ 分别为 边缘分布函数，有：

$$ FX(x) = \lim{y \rightarrow +\infty} F(x,y) $$

离散型随机变量与及其分布

离散型随机变量

全部可能的取值只有 有限个 或 可列无穷个 的随机变量。\
离散型随机变量的 分布律： $P{ X=x_i } = p_i$，常用表格表示。

伯努利分布

又称 两点分布， 0-1分布，由 伯努利试验 得到，其样本空间只有两个对立的样本点。

二项分布

n 次重复独立的伯努利试验称为 n 重伯努利试验。\
二项分布（Binomial Distribution）是 n 重伯努利试验中成功次数的离散概率分布，记每次试验的成功概率为 p，成功次数为 k，随机变量 X=k，则 X 的分布律为：

$$ P{X=k}=P_n(k) = C_n^k p^k(1-p)^{n-k} $$

X 服从二项分布，记 $X\sim B(n,p)$。 X 可视作 n 个同伯努利分布随机变量之和。

几何分布

在伯努利试验中，得到一次成功所需要的試驗次数 X
在得到第一次成功之前所经历的失败次数 Y = X − 1

X，Y 服从几何分布，其分布律分别为

$$ P{ X=k } = (1-p)^kp.\quad P{ Y=k } = (1-p)^{k-1}p$$

因其分布律为等比数列，又称几何数列而得名。

超几何分布

从 N 个物件中不放回地抽取 n 个，抽取到（初始）总数为 M 的物件的个数 X=k 服从超几何分布，记 $X \sim H(n,M,N)$, $X$ 的分布律为：

$$ P{ X=k } = \frac{CM^kC{N-M}^{n-k}}{C_N^n} $$

因其分布律数列前后项之比是一个关于 k 的函数，故称为超几何分布。如果 N，M 无穷大，每次抽出指定物件的概率几乎不变，退化为二项分布。

泊松分布

泊松分布由二项分布极限近似推导而成，当 $X \sim B(n,p)$ 中 $n$ 很大 $p$ 很小 时，可视为 X 近似服从泊松分布（$\lambda=np$），记 $X \sim P(\lambda)$，其分布律为：

$$ P(X=k) = \frac{\lambda^k}{k!} e^{-\lambda} $$

泊松分布可用于描述随机事件发生的次数，如某一服务设施到达的人数，其中 $\lambda$ 是随机事件的平均发生次数。

连续型随机变量与及其分布

连续型随机变量与概率密度函数

对随机变量 X 的分布函数 $F(x)$，存在非负函数 $f(x)$，满足

$$ F(x) = \int_{-\infty}^x f(u) du $$

则 X 是 连续型随机变量，称 $f(x)$ 为 X 的 概率密度函数。注意， $f(x)$ 可积而不一定连续，故 F(x) 不一定可导。

均匀分布

$X \sim U(a,b)$，概率密度：

$$ f(x) = \left{ \begin{array}{l}
\frac{1}{b-a},\quad a < x < b \
0, \quad 其它
\end{array} \right. $$

指数分布

$X \sim Exp(\lambda)$，概率密度：

$$ f(x) = \left{ \begin{array}{l}
\lambda e^{-\lambda x},\quad x \ge 0 \
0, \quad x < 0
\end{array} \right. $$

指数分布描述独立随机事件发生的间隔，如电子元件下次损坏的时间，其中 $\lambda$ 为平均发生次数。具有 无记忆性：

$$ P{ X > t + s \ | X > t} = P{ X > s } $$

正态分布

$X \sim N(\mu, \sigma^2)$，概率密度：

$$ \varphi(x;\mu, \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi}} \exp( \frac{-(x-\mu)^2}{2 \sigma^2} ) $$

正态分布具有可加性： $X\sim N(\mu_1, \sigma_1^2),\; Y\sim N(\mu_2, \sigma_2^2)$，则 $X\pm Y \sim N(\mu_1 \pm \mu_2, \sigma_1^2+\sigma_2^2)$

标准正态分布

$X \sim N(0,1)$，概率密度：

$$ \varphi(x) = \frac{1}{\sqrt{2 \pi}} \exp( \frac{-x^2}{2} ) $$

上侧 $\alpha$ 分位数

对连续型随机变量 X：

$$ P{ X \ge u\alpha } = \int{u_\alpha}^{+\infty} f(x) dx = \alpha $$

称 $u_\alpha$ 为上侧 $\alpha$ 分位数

随机变量的数字特征

（数学）期望

离散型：

$$ E(X) = \sum_{i=1}^{\infty} x_i p_i $$

连续型：

$$ E(X) = \int_{-\infty}^{+\infty} x f(x) dx $$

又称随机变量 X 的均值。

方差

$$ D(X)=E{[X-E(X)]^2} $$

常用计算 $D(X)=E(X^2)-[E(X)]^2$

标准差 或 均方差： $\sigma(X)=\sqrt{D(X)}$

协方差

$$ cov(X,Y) = E{ [X-E(X)] [Y-E(Y)] } $$

特别有 $D(X) = cov(X,X)$

常用计算： $cov(X,Y)=E(XY)-E(X)E(Y)$

矩

k 阶原点矩：

$$ \gamma_k = E(X^k) $$

k 阶中心矩：

$$ \mu_k = E{ (X-E(X))^k } $$

k 阶绝对原点矩： $\alpha_k = E(|X|^k)$\
k 阶绝对中心矩： $\beta_k = E{ |X-E(X)|^k }$

一阶中心矩 $\mu_1=0$，二阶中心矩 $\mu_2$ 即方差

公式

概率运算公式

加法公式

$$ P(A\cup B)=P(A) + P(B) - P(AB) $$

减法公式

$$ P(A-B)=P(A\overline{B})=P(A)-P(AB) $$

乘法公式

$$ P(AB) = P(B)P(A|B) $$

条件概率

$$ P(A|B) = \frac{P(AB)}{P(B)} \quad (P(B)>0) $$

全概率公式

$$ P(A) = \sum_{i=1}^{n} P(B_i)P(A|B_i) $$

其中 $B_1,\;B_2,\;…B_n$ 为完备事件组。

贝叶斯公式

$$ P(B_i | A)=\frac{ P(B_i)P(A|Bi) }{ \sum{j=1}^n P(B_j)P(A|B_j) } $$

其中 $B_1,\;B_2,\;…B_n$ 为完备事件组。

概率由分布函数计算

$$ P{ a < X \le b } = F(b) - F(a) $$

$$ P{ X < x_0 } = F(x_0 - 0) $$

$$ P{ X = x_0 } = F(x_0) - F(x_0 - 0) $$

$$ P{ x_1 < X \le x_2,\;\; y_1 < Y \le y_2 }=F(x_2,y_2) - F(x_1,y_2) - F(x_2, y_1) + F(x_1,y_1) $$

正态分布计算

$X \sim N(\mu, \sigma^2)$，标准正态分布函数 $\Phi(x)$，有：

$$ P(x_1 < X \le x_2) = \Phi(\frac{x_2-\mu}{\sigma}) - \Phi(\frac{x_1-\mu}{\sigma}) $$

定理

分布函数的性质

单调不减
$F(x)\in[0,1]$ 且 $\lim{x\rightarrow -\infty} F(x)=0$, $\lim{x\rightarrow +\infty} F(x)=1$
右连续，即 $F(x+0)=F(x)$

概率密度函数性质

$f(x) \ge 0$
$\int_{-\infty}^{+\infty} f(x) dx=1$
$P{x_1 \le X \le x2} = \int{x_1}^{x_2} f(x) dx$
若 $f(x)$ 可导， $F’(x) = f(x)$
分布函数 $F(x)$ 连续
$P(X=x_0) = 0$

期望的性质

对常数 C 有 $E(C) = C$
对常数 C 有 $E(CX)=CE(X)$
$E(X+Y)=E(X)+E(Y)$
$X,\; Y$ 相互独立 $E(XY)=E(X)E(Y)$

方差的性质

对常数 C 有 $D(C)=0$
对常数 C 有 $D(CX) = C^2 D(X)$
$D(X \pm Y)=D(X)+D(Y) \pm 2E{ [X-E(X)] [Y-E(Y)] }=D(X)+D(Y) \pm 2 cov(X,Y)$
$X,\; Y$ 相互独立，有 $D(X \pm Y)=D(X)+D(Y)$
对常数 C 有 $D(X+C)=D(X)$

常见分布的期望与方差

$$ X\sim B(n,p),\quad E(X)=np,\quad D(X)=np(1-p) $$

$$ X \sim P(\lambda),\quad E(X)=D(X)=\lambda $$

$$ X \sim U(a,b),\quad E(X) = \frac{a+b}{2},\quad D(X)=\frac{(b-a)^2}{12} $$

$$ X \sim Exp(\lambda),\quad E(X)=\frac{1}{\lambda},\quad D(X) = \frac{1}{\lambda^2} $$

$$ X \sim N(\mu, \sigma^2),\quad E(X)=\mu,\quad D(X)=\sigma^2 $$

协方差的性质

$cov(aX,bY)=ab \cdot cov(Y,X)$
$cov(X_1+X_2, Y)=cov(X_1,Y)+cov(X_2,Y)$

期望方差等几个等价命题

$E(XY)=E(X)E(Y)$
$D(X\pm Y)=D(X) + D(Y)$
$cov(X,Y)=0$
$\rho = 0$

X、Y 独立是以上命题的充分条件

向量组

发表于 2016-08-31 | 分类于 Math

矩阵相关

概念

线性组合

$$ \mathbf{\beta} = k_1 \mathbf{\alpha_1} + k_2 \mathbf{\alpha_2} +…+ k_n \mathbf{\alpha_n} $$

称向量 $\mathbf{\beta}$ 为向量组 $(\mathbf{\alpha}_1,\mathbf{\alpha}_2,…,\mathbf{\alpha}_n)$ 的线性组合，注意 线性组合是一个向量。也可称 $\mathbf{\beta}$ 被线性表出。

等价于 $\mathbf{A}\mathbf{X} = \mathbf{\beta}$ 有解，其中 $\mathbf{A}=[\mathbf{\alpha}_1,\mathbf{\alpha}_2,…,\mathbf{\alpha}_n]$， $k$ 数组可由解方程组得到。

向量组（间）等价

对两个向量组 A, B，A 的每个向量都可被 B 线性表出，称 A 可被 B 线性表出，若 A, B 能相互线性表出，称二者等价。 等价向量组有相同的秩。

向量组（内）线性相关

存在不全零常数组 $k_1,k_2,…,k_n$ 使得

$$ k_1\mathbf{\alpha}_1 + k_2\mathbf{\alpha}_2 +…+k_n\mathbf{\alpha}_n=\mathbf{0} $$

则称向量组 $(\mathbf{\alpha}_1, \mathbf{\alpha}_2,…,\mathbf{\alpha}_n)$ 线性相关，否则，线性无关，即常数组全零。

等价于 $\mathbf{A}\mathbf{X} = \mathbf{0}$ 有非零解

其中系数矩阵 $\mathbf{A}=[\mathbf{\alpha}_1,\mathbf{\alpha}_2,…,\mathbf{\alpha}_n]$， 线性无关等价于 $\mathbf{A}\mathbf{X} = \mathbf{0}$ 只有零解

部分相关，整体相关

向量组内有一部分向量组线性相关，则整个向量组线性相关。其逆否命题是， 整体无关，部分无关，即向量组线性无关，则向量组内每部分向量组线性无关。

无关组加一相关

向量组线性无关，加入一向量 $\mathbf{\beta}$ 线性相关，则 $\mathbf{\beta}$ 可由向量组线性表出，表示式唯一。

最大无关组

若向量组 $T$ 满足：

在 $T$ 中有 $r$ 个向量 $\alpha_1,\alpha_2,…,\alpha_r$ 线性无关
$T$ 中任意 $r+1$ 个向量都线性相关，即其它向量可由条件 1 中的无关组表出

则称 $\alpha_1,\alpha_2,…,\alpha_r$ 是向量组 $T$ 的一个最大线性无关组，简称为最大无关组。最大无关组的向量数 r 为 向量组 $T$ 的秩。

求最大无关组

用列向量组构成矩阵，再求其行阶梯矩阵

线性方程组的解

发表于 2016-08-28 | 分类于 Math

矩阵相关

与线性代数中其它如行列式、秩的求解不同，解线性方程组时，对系数矩阵施以 行初等变换。

概念

解空间

对 齐次方程组 $\mathbf{AX=b}$，解向量的线性组合也为方程组的解，满足封闭性，其所有解向量构成的空间称为解空间。

基础解系

解空间的任一组基称为对应 齐次线性方程组 的基础解系。向量组是是基础解系的条件：

是解
线性无关
其它解都可被线性表出，或向量组个数为 $n-r(\mathbf{A})$

齐次线性方程的计算

齐次线性方程 $\mathbf{A} \mathbf{X} = \mathbf{0}$ \
以下以一个例子阐述（打公式太麻烦）：

第一步，对矩阵 $\mathbf{A}$ 施以行初等变换，得到：

$$
\begin{bmatrix}
1 & 0 & a{1,1} & a{1,2}\
0 & 1 & a{2,1} & a{2,2}\
0 & 0 & 0 & 0 \
0 & 0 & 0 & 0 \
\end{bmatrix}
$$

与之对应有方程组：

$$ \left{ \begin{array}{l}
x1=-a{1,1}x3 - a{1,2}x_4 \
x2=-a{2,1}x3 - a{2,2}x_4 \
\end{array} \right.
$$

第二步，令
$$ \begin{bmatrix} x_3 \ x_4 \end{bmatrix} =
\begin{bmatrix} 1 \ 0 \end{bmatrix},\;
\begin{bmatrix} 0 \ 1 \end{bmatrix}$$

则第一步得到的方程组依次可得：

$$ \begin{bmatrix} x_1 \ x2 \end{bmatrix} =
\begin{bmatrix} -a{1,1} \ -a{2,1} \end{bmatrix},\;
\begin{bmatrix} -a{1,2} \ -a_{2,2} \end{bmatrix}$$

最后可求得 基础解系 $\xi_1,\; \xi_2$：

$$ \xi1 = \begin{bmatrix} -a{1,1} \ -a_{2,1} \ 1 \ 0 \end{bmatrix},\quad
\xi1 = \begin{bmatrix} -a{1,2} \ -a_{2,2} \ 0 \ 1 \end{bmatrix}
$$

通解表示为 $\mathbf{X} = k_1 \mathbf{\xi}_1 + k_2 \mathbf{\xi}_2$

基础解系有 n - r 个向量, n 为系数矩阵列数（x 个数），r 为系数矩阵的秩。

非齐次线性方程的计算

$$\mathbf{A} \mathbf{X} = \mathbf{b}$$

第一步，对 增广矩阵 施以行初等变换，得到：

$$
\begin{bmatrix}
1 & 0 & a{1,1} & a{1,2} & b1\
0 & 1 & a{2,1} & a_{2,2} & b_2\
0 & 0 & 0 & 0 & 0\
0 & 0 & 0 & 0 & 0\
\end{bmatrix}
$$

与之对应有方程组：

$$ \left{ \begin{array}{l}
x1=-a{1,1}x3 - a{1,2}x_4 + b_1\
x2=-a{2,1}x3 - a{2,2}x_4 + b_2\
\end{array} \right.
$$

第二步，令 $x_3=x_4=0$ 得一个特解：

$$ \mathbf{\gamma}_0 = \begin{bmatrix} b_1 \ b_2 \ 0 \ 0 \end{bmatrix} $$

第三步，求出对应齐次方程组 $\mathbf{A} \mathbf{X} = \mathbf{0}$ 的基础解系： $\mathbf{\xi}_1,\; \mathbf{\xi}_2$

得到通解为 $\mathbf{X} = \mathbf{\gamma}_0 + k_1 \mathbf{\xi}_1 + k_2 \mathbf{\xi}_2$

克拉默法则

系数矩阵为方阵 $\mathbf{A}$ 的关于 x 的 非齐次线性方程组 $\mathbf{AX=b}$ 的解法：

$$ x_j = \frac{\det \mathbf{A_j}}{\det \mathbf{A}} $$

$A_j$ 是 j 列换成方程的常数列（ $\mathbf{b}$ ）得到的矩阵。

解与秩

齐次方程组有非零解（有多解）， $r(\mathbf{A})<n$
非齐次方程组有解， $r(\mathbf{A}) = r(\mathbf{A},\mathbf{b})$

解题技巧

代入检验

求出解后可代入方程检验

解的情况

根据参数取值讨论解的情况，系数矩阵往往是方阵，考虑计算系数矩阵行列式

矩阵的秩

发表于 2016-08-28 | 分类于 Math

矩阵相关

秩与行列式密切相关 。注意，相比于行列式， 秩适用于任意的矩阵。

性质

初等变换不改变矩阵的秩

即 $r(\mathbf{PAQ})=r(\mathbf{A})$, 其中 $\mathbf{P}$, $\mathbf{Q}$ 为可逆矩阵

一些结论

$R(\mathbf{A}) = R(\mathbf{A^T})$
$r(\mathbf{AB}) \le \min(r(\mathbf{A}),\; r(\mathbf{B}))$
$r(\mathbf{A+B})\le r(\mathbf{A})+r(\mathbf{B})$
$r(\mathbf{A, B})\le r(\mathbf{A})+r(\mathbf{B})$
$r(\mathbf{A^TA})=r(\mathbf{AA^T})=r(\mathbf{A})$
若 $\mathbf{A}{m\times n}\mathbf{B}{n\times p}=\mathbf{0}$, 则 $r(\mathbf{A})+r(\mathbf{B}) \le n$

与方程组的解

齐次方程组有非零解（有多解）， $r(\mathbf{A})<n$
非齐次方程组有解， $r(\mathbf{A}) = r(\mathbf{A},\mathbf{b})$

计算

通过初等变换化为阶梯矩阵

行列式

发表于 2016-08-26 | 分类于 Math

矩阵相关

行列式的意义有很多，最早提出用于 解方程 ，那时没有矩阵的概念，后来发现行列式与线性代数的许多概念相关。需要注意的是行列式是关于方阵的。

行列式的性质

行列式的初等变换

将某一行（列）乘以某数 k 得到 $\mathbf{A_1}$, 则 $\det \mathbf{A}_1 = k \det \mathbf{A}$
将某一行（列）乘以某数 k 加到另一行（列）行列式不变
交换两行（列）行列式为原来的相反数

$\det \mathbf{A^T} = \det \mathbf{A}$, 使行性质适用于列

一行（列）拆项成多个行列式

计算技巧

一般的目标

化为三角矩阵

三角矩阵的行列式为其对角线元素之积
反三角矩阵的行列式为对角线元素之积乘上 $(-1)^{(n-1)n/2}$, 证明为从左到右交换列，最后化为三角矩阵，共交换 $n(n-1)/2$ 次

得到更多 0

多行加到一行，提该行公因子

范德蒙行列式

范德蒙行列式 $\mathbf{A} = (a{i,j}){m \times n}$，元素 $a_{i,j}=x_j^{n-i}$ 是指数形式，底数每列不同，指数行不同，

$$\det \mathbf{A} = \prod_{1 \le j \le i \le n } (x_i - x_j)$$

其技巧是按行循环相减，同时做到第一列化 0 和每列提出公因子。

加边法

为行列式加第一行和第一列，要求第一列（行）除第一个元素为 1 外其他全为 0 。

拉普拉斯展开

k 阶子式：行列式取 k 行 k 列，其 $k^2$ 个交点按原来相对位置组成的 k 阶行列式；\
k 阶子式的代数余子式： k 阶子式余下元素按相对位置构成行列式 $\mathbf{M}$ 称为余子式，设 k 阶子式取原行列式的 $i_1,i_2,…,i_k$ 行， $j_1, j_2, …, j_k$ 列，则代数余子式为 $(-1)^{(i_1+i_2+…+i_k)+(j_1+j_2+…+j_k)} M$

拉普拉斯定理：若行列式 D 中取定 k 个行，则由这 k 个行组成的所有 k 阶行列子式与它们的代数余子式的乘积之和等于 D。

拉普拉斯展开对含有 0 块的行列式很有效。

递推证明

常微分方程

发表于 2016-08-20 | 分类于 Math

微积分笔记

基本概念

微分方程相关的各种命名都是关于函数与导数的

微分方程

含未知函数的导数的方程为微分方程。未知函数是一元函数的，称为 常微分方程 ，多元函数的，称为 偏微分方程 。

阶

函数最高阶导数的阶数

线性方程

$$ y^{(n)}+a1(x)y^{(n-1)}+…+a{n-1}(x)y’+a_n(x)y=f(x) $$

通解

解的独立的任意常数 $C$ 的个数与微分方程的阶数相同。不含任意常数的解称为特解。

齐次函数

函数 f(x,y) 对任意 t 满足： $f(tx,ty)=t^kf(x,y)$，则称之为 k 次齐次函数，k=0 时，称为齐次函数

一阶微分方程

可分离变量方程

$$ \frac{dy}{dx}=f(x)g(y) $$

齐次方程

$$ \frac{dy}{dx}=f(x,y) $$

其中 $f(x,y)$ 为齐次函数，有 $f(x,y)=\phi(\frac{y}{x})$。解，令 $u=\frac{y}{x}$, 则 $u+x\frac{du}{dx}=\phi(u)$, 化为可分离变量方程。

一阶线性方程

$$ \frac{dy}{dx}+P(x)y=Q(x) $$

若 $Q(x) = 0$, 称为 一阶齐次线性微分方程, 反之 一阶非齐次线性微分方程

一阶齐次线性微分方程

为可分离变量方程，其解为：

$$y=Ce^{-\int P(x) dx}$$

一阶非齐次线性微分方程

常数变易法, 令齐次解的 $C=C(x)$, 代入非齐次方程，解得：

$$y=e^{-\int P(x) dx}(\int Q(x) e^{\int P(x) dx} dx + C)$$

伯努利（Bernoulli）方程

$$ \frac{dy}{dx}+P(x)y=Q(x)y^n \quad (n \ne 0,1)$$

解，令 $z=y^{1-n}$, 得 $\frac{dz}{dx}+(1-n)P(x)z=(1-n)Q(x)$, 转化为一阶非齐次线性微分方程求解

可降阶的高阶微分方程

$y^{(n)}=f(x)$

$y’’=f(x,y’)$

令 $p=y’$, 转化成一阶 $p’=f(x,p)$

$y’’=f(y,y’)$

令 $p=y’$, 转化为一阶 $y’’=p\frac{dp}{dy}=f(y,p)$

二阶齐次线性方程

二阶常系数齐次线性方程

$$ y’’+py’+qy=0 $$

解，令 $y=e^{rx}$, 代入方程： $(r^2+p \cdot r+q \cdot r)e^{rx}=0$, 需求解 特征方程 $r^2+p \cdot r+q = 0$。被称为 欧拉待定指数函数法 。

特征方程的根	通解
$r_1, r_2$	$y=C_1 e^{r_1 x}+C_2 e^{r_2 x}$
$r_1=r_2$	$y=(C_1+C_2 x)e^{r_1 x}$
$r_{1,2}=\alpha \pm i \beta$	$y=e^{\alpha x}(C_1 \cos (\beta x) +C_2 \sin (\beta x))$

该解法 可推广到高次

二阶非齐次线性方程

$$ L(y)=y’’+P(x)y’+Q(x)y=f(x) $$

通解

若 $y^$ 是二阶非齐次线性方程 $L(y)=f(x)$ 的一个特解， $Y$ 是对应齐次方程 $L(y)=0$ 的通解，则 $y=Y+y^$ 是 $L(y)=f(x)$ 的通解。

二阶常系数非齐次线性方程

$$ y’’ + p y’ + q y = f(x) $$

为求特解，使用 比较系数法 ，先猜特解的形式，代入方程，比较系数。下面介绍两种 $f(x)$ 下的特解形式。

$f(x)=P_m(x)e^{r x}$

特解 $y^* = x^k Q_m(x)e^{rx}$, 其中 $P_m(x),\; Q_m(x)$ 均为 $m$ 次多项式， $k$ 按 $r$ 不是特征方程 $r^2 + p \cdot r + q=0$ 的根，是单根或重根分别取 0，1或2。

$f(x)=e^{\lambda x}(P_l(x)\cos(wx)+P_n(x)\sin(wx))$

特解 $y^* = x^k e^{\lambda x}(Q_m(x)\cos(wx)+R_m(x)\sin(wx))$, 其中 $P_l(x),\;P_n(x),\;Q_m(x),\;R_m(x)$ 分别是 l 次、n 次、m 次、m 次多项式， $m=\max(l,n)$, k 视 $\lambda + i w$ 不是或是特征方程的根分别取0或1。

欧拉方程

$$ p_0 x^n y^{(n)}+ p1 x^{n-1} y^{(n-1)}+…+ p{n-1} x y’+ p_n y=f(x) $$

解，令 $x=e^t$, 则 $x^k y^{(k)}=D(D-1)(D-2)…(D-k+1)y$。其中 $D$ 为微分算子符号，表示求导运算 $D=\frac{d}{dt}$, 有 $Dy=\frac{dy}{dt}$, $D^n$ 为高阶求导。将 $x^k y^{(k)}$ 代入欧拉方程，得到一个以 $t$ 为自变量的常系数线性微分方程，可求解。

解题技巧

用简单变量替换

例：

$$ \frac{dy}{dx}=\frac{y-x+1}{y+x+5},\quad let\; \left{ \begin{array}{l}
X=x+2\
Y=y+3
\end{array} \right. $$

$$ \frac{dy}{dx}=\frac{y-x+1}{y-x+5},\quad let\;\; u=y-x$$

x 视作函数

分段微分方程

注意临界点，如果导数存在则连续，可借此求得临界点值，进一步求解任意常数 $C$

浓度流动变化问题

浓度 $\rho=\frac{m}{V}$, m - 物质量，V - 体积。

$$dm=\rho_{in}dV-\frac{m}{V_0}dV$$

$\rho_{in}$ 流入浓度， $V_0$ 总体积，常量（假设保持不变）。注意其中的微元思想。

定积分的应用

发表于 2016-08-20 | 分类于 Math

微积分笔记

微元法

分割、近似、求和、取极限的简略过程，微元 $dx \sim \Delta x$ 可以看作一个“无限小的过程。

几何应用

函数面积微元

坐标系	微元
直角坐标系 $y=y(x)$	$y(x)dx$
极坐标 $r=r(\theta)$	$\frac{1}{2} r^2(\theta)d\theta$
含参 $y=y(t),\,x=x(t)$	$y(t)x’(t)dt$

注意掌握心形线，双纽线方程

函数体积微元

场景	微元
已知 $x$ 轴截面 $S(x)$	$S(x)dx$
旋转体，绕 $x$ 轴	$\pi y^2(x) dx$

补充，旋转体曲面侧面积微元： $2\pi y(x) \sqrt{1+{y’}^2(x)}dx$

弧长

坐标系	微元
直角坐标系 $y=y(x)$	$\sqrt{d^2x+d^2y}=\sqrt{1+{y’}^2}dx$
极坐标 $r=r(\theta)$	$\sqrt{r^2(\theta)+{r’}^2(\theta)}d\theta$
含参 $y=y(t),\,x=x(t)$	$\sqrt{ {x’}^2(t)+{y’}^2(t)}dt$

函数平均值

$$ \frac{1}{b-a} \int_a^b f(x) dx $$

意义

性质

估值定理

积分中值定理

对称性

二重积分计算

直角坐标系

极坐标系

三重积分计算

直角坐标 —— 投影法

直角坐标 —— 截面法

柱面坐标系

球面坐标系

物理应用

质心

解题技巧

变换积分顺序或方法

轮换

随机变量序列收敛的定义

依概率收敛

依分布收敛

大数定律

切比雪夫大数定律

辛软大数定律

伯努利大数定律

中心极限定理

独立同分布中心极限定理

棣莫弗——拉普拉斯中心极限定理

相关

切比雪夫不等式

联合分布函数

性质

联合分布律

性质

联合概率密度

边缘概率密度

概率由密度函数计算

二维均匀分布

二维正态分布

随机变量的独立性

条件分布

条件分布律

条件概率密度

求解技巧

随机变量函数的分布

连续型单调函数

一般解法

求解条件概率密度

两个随机变量简单函数的概率密度

Z = X + Y

一般方法

系列笔记

参考

基本概念

基本事件

样本空间

随机事件

互斥与对立

相互独立

完备事件组

古典概率

随机变量

分布函数

概率分布

n 维随机变量

联合分布函数

离散型随机变量与及其分布

离散型随机变量

伯努利分布

二项分布

几何分布

超几何分布

泊松分布

连续型随机变量与及其分布

连续型随机变量与概率密度函数

均匀分布

指数分布

正态分布

标准正态分布

上侧 $\alpha$ 分位数