数理统计基本概念
参数估计 指用样本估计总体分布的参数。分点估计和区间估计。\
假设检验 指对总体情况的假设做检验，在给定显著水平下做出拒绝或接受的判断。
参数的点估计
构造一个适当的统计量 $\hat{\theta}=\hat{\theta}(X_1,X_2,…,X_n)$， 作为对总体参数 $\theta$ 的估计。称函数（也是随机变量） $\hat{\theta}$ 为参数 $\theta$ 的 估计量， 代入样本观测值得到函数值，称为 估计值。
矩估计
矩估计的依据：大数定律
用总体矩表示总体参数，然后用对应样本矩作为总体矩的估计，达到以样本矩估计总体参数的目的。以下用矩估计期望 $\mu$ 和二阶中心矩 $M_2$：
$$ \hat{\mu} = \overline{X} = \frac{1}{n} \sum_{i=1}^n X_i \
\hat{\sigma}^2 = M2 = \frac{1}{n} \sum{i=1}^n (X_i - \overline{X})^2
$$
极大似然估计
按照最大可能性估计参数。构造抽出当前样本的概率——似然函数，（常用 似然方程）估计最优参数使该概率最大。
似然函数：样本个体概率之积（离散型）或概率密度之积（连续型），记为 $L(x_1,x_2,…,x_n;\theta_1,\theta_2,…,\theta_m)$；\
似然方程：似然函数的对数对参数求偏导
$$ \frac{\partial\ln L}{\partial\theta_k},\quad k=1,2,…,m$$
估计量的优良性准则
不同方法求出的估计量很可能不同，估计量的优良性准则就可用于挑选优良估计量。
无偏性
如果 $E(\hat{\theta})=\theta$， 则称 $\hat{\theta}$ 为 无偏估计量。 样本方差是总体方差的无偏估计。
有效性
如果无偏估计 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 满足 $D(\hat{\theta}_1) \le D(\hat{\theta}_2)$， 则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 有效。如果 $\hat{\theta}$ 是 $\theta$ 估计中方差最小的，称为 最小方差无偏估计。
相合性
估计量应随着样本容量增大而接近总体参数的真值。当样本容量 $n\rightarrow \infty$ 时， $\hat{\theta}_n$ 依概率收敛于 $\theta$， 即对任意 $\epsilon > 0$， 满足
$$ \lim_{n\rightarrow \infty} P{ |\hat{\theta}_n - \theta| < \epsilon } = 1 $$
则称 $\hat{\theta}_n$ 为 $\theta$ 的 相合估计量 或 一致估计量。
区间估计
点估计不能给出估计值的可信程度，区间估计弥补了这点。区间估计指估计参数的取值区间及对应的可信程度（概率）。它有 2 个基本要求，可信程度（概率）尽可能大和区间尽可能小，显然这是矛盾的。一般的做法是先指定可信程度，再在该前提下尽可能缩小区间。
如果满足
$$ P{\hat{\theta}_1(X_1,X_2,…,X_n) \le \theta \le \hat{\theta}_2(X_1,X_2,…,X_n)} = 1 -\alpha $$
则称 $[\hat{\theta}_1,\hat{\theta}_2]$ 为 $\theta$ 的 置信度 为 $1-\alpha$ 的 置信区间。
枢轴变量法
在 几个抽样分布定理 中，可见 统计量、总体分布参数与抽样分布 三者存在一定关系，利用这些关系构造“统计量与总体参数的函数”——服从已知分布的 枢轴变量， 及其指定置信度下的概率方程，解出枢轴变量估计区间，进而解出参数估计区间。
例如，已知 正态 总体分布方差 $\sigma^2$ 和一个容量为 n 的样本，给定置信度 $1-\alpha$， 求期望 $\mu$，可构造枢轴变量
$$ U = \frac{\overline{X} - \mu}{\sigma / \sqrt{n}} \sim N(0,1),\quad because\; \overline{X} \sim N(\mu,\frac{\sigma^2}{n}) $$
$$ \Rightarrow P{ -u{\alpha/2} \le U \le u{\alpha/2}} = 1-\alpha $$
其中 $u_{\alpha/2}$ 是正态分布 上侧 $\frac{\alpha}{2}$ 分位数， 可以查表解出得到 $U$ 的估计区间，进而解聘 $\mu$ 的估计区间。
一个正态总体的区间估计
以下是用枢轴变量法解出的正态总体参数的估计区间结果。 $\mu，\sigma^2$ 分别为期望、方差，指定置信度为 $1-\alpha$。
$\mu$ 置信区间
$$ [\overline{X}-\frac{\sigma}{\sqrt{n}}u{\alpha/2},\;\; \overline{X}+\frac{\sigma}{\sqrt{n}}u{\alpha/2}],\quad with\; \sigma^2\; known$$
$$ [\overline{X}-\frac{S}{\sqrt{n}}t{\alpha/2}(n-1),\;\; \overline{X}+\frac{S}{\sqrt{n}}t{\alpha/2}(n-1)],\quad with\; \sigma^2\; unknown$$
其中 $u{\alpha/2},\;t{\alpha/2}$ 分别是正态分布与 T 分布的上侧分位数。
$\sigma^2$ 置信区间
$$ [\frac{(n-1)S^2}{\chi^2{\alpha/2}(n-1)} ,\;\; \frac{(n-1)S^2}{\chi^2{1-\alpha/2}(n-1)}] ,\quad with\; \mu\; unknown $$
其中 $\chi^2{\alpha/2},\;\chi^2{1-\alpha/2}$ 为 $\chi^2$ 上侧分位数。
两个正态总体的区间估计
以下是用枢轴变量法解出的正态总体参数的区间估计。 $\mu_1，\sigma_1^2$ 与 $\mu_2，\sigma_2^2$ 分别为两个总体的期望、方差，指定置信度为 $1-\alpha$。
$\mu_1 - \mu_2$
$$ [\overline{X} - \overline{Y} - u_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n2}} ,\;\; \overline{X} - \overline{Y} + u{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}} ],\quad with\; \sigma_1^2,\sigma_2^2\; known$$
如果 $\sigma_1^2,\sigma_2^2$ 未知但相等，则区间为
$$ [(\overline{X}-\overline{Y})-t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n2}} ,\quad (\overline{X}-\overline{Y})+t{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}] $$
$$ S_w = \sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}} $$
其中 $u{\alpha/2},\;t{\alpha/2}$ 分别是正态分布与 T 分布的上侧分位数。
$\frac{\sigma_1^2}{\sigma_2^2}$ 区间
$$ [\frac{S_2^2}{S1^2}F{1-\alpha/2}(n_1-1,n_2-1),\;\; \frac{S_2^2}{S1^2}F{\alpha/2}(n_1-1,n_2-1)],\quad with\; \mu_1,\mu_2\; unknown$$
其中 $F{\alpha/2},F{1-\alpha/2}$ 为 F 分布上侧分位数。
大样本方法
用“样本均值”与“总体期望方差”构造出枢轴变量，使之满足中心极限定理，当样本容量足够大时，近似服从正态分布，从而得到指定置信度下的概率方程，解出置信区间。如果总体期望方差均未知，可用点估计代替其中一个解另一个。
单侧置信区间
指估计区间只要求上限或下限，与双侧置信区间解法区别不大。
假设检验
为了检验假设 $H_0$， 称为 原假设 或 零假设， 假定 $H_0$ 是正确的，进行推导，如果指导出小概率事件，就有理由拒绝原假设，反之，接受原假设。
原假设的逆命题 $H_1$ 称为 对立假设 或 备择假设。 使原假设接受的（根据假设构造的） 检验统计量 取值区域称为 检验的接受域， 反之为 检验的拒绝域。
假设检验的两类错误
假设检验可能犯两类错误， 第一类错误“弃真” 和 第二类错误“纳伪”。 犯第一类错误的概率：
$$ P{ 拒绝 H_0 | H_0 为真} = \alpha $$
称为 显著性水平， 通常是一个 小概率。 第一二类错误概率发生概率是互相矛盾的， 在实际应用中，根据二者犯错代价设置显著性水平大小。（参考：我应该对显著性水平使用什么值？）
显著性检验的步骤
整个过程类似参数区间估计
- 提出假设
- 构造检验统计量，并 在 $H_0$ 成立的条件下， 能确定检验统计量的分布
- 选定显著性水平 $\alpha$， 确定拒绝域
- 根据样本观测值和拒绝域，作出检验决策
单个正态总体假设检验
期望 $\mu$ 检验
$H_0: \mu=\mu_0,\quad H_1: \mu \ne \mu_0$
总体方差 $\sigma^2$ 已知， 检验统计量：
$$ U = \frac{\overline{X} - \mu0}{\sigma/\sqrt{n}} \sim N(0,1),\quad 拒绝域：|u|> u{\alpha/2} $$
总体方差未知， 检验统计量：
$$ T = \frac{\overline{X} - \mu0}{S/\sqrt{n}} \sim t(n-1),\quad 拒绝域：|t|> t{\alpha/2}(n-1) $$
其中， $u{\alpha/2},\;t{\alpha/2}(n-1)$ 为正态分布与 T 分布上侧分位数。对于备择假设为不等式的情况，统计量不变，拒绝域稍做变化。
方差 $\sigma^2$ 检验
$H_0: \sigma^2=\sigma^2_0,\quad H_1: \sigma^2 \ne \sigma^2_0$
总体期望未知，检验统计量：
$$ \chi^2 = (n-1)\frac{S^2}{\sigma0^2} \sim \chi^2(n-1),\quad 拒绝域：\chi^2 > \chi{\alpha/2}^2(n-1)\; 或\; \chi^2 < \chi_{1-\alpha/2}^2(n-1) $$
总体期望 $\mu$ 已知，检验统计量：
$$ \chi^2 = \frac{\sum_{i=1}^n (X_i - \mu)^2}{\sigma0^2} \sim \chi^{2}(n),\quad 拒绝域：\chi^2 > \chi{\alpha/2}^2(n)\; 或\; \chi^2 < \chi_{1-\alpha/2}^2(n) $$
参考“期望 $\mu$ 检验”备注。
两个正态总体假设检验
期望差 $\mu_1 - \mu_2$ 检验
$H_0: \mu_1 - \mu_2 = 0,\quad H_1: \mu_1 - \mu_2 \ne 0$
总体方差 $\sigma_1^2,\;\sigma_2^2$ 均已知， 检验统计量：
$$ U=\cfrac{(\overline{X}-\overline{Y})}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n2}} \sim N(0,1),\quad 拒绝域：|u|>u{\alpha/2}$$
总体方差 $\sigma_1^2,\;\sigma_2^2$ 均未知，但 $\sigma_1^2=\sigma_2^2=\sigma$， 检验统计量：
$$ T=\cfrac{(\overline{X}-\overline{Y})}{S_w\sqrt{1/n_1+1/n_2}} \sim t(n_1+n2-2),\quad 拒绝域：|t|>t{\alpha/2}(n_1+n_2-2)$$
$$ S_w = \sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}} $$
参考“期望 $\mu$ 检验”备注。
方差比 $\frac{\sigma_1^2}{\sigma_1^2}$ 检验
$H_0:\sigma_1^2=\sigma_2^2,\quad H_1:\sigma_1^2\ne\sigma_2^2$
总体期望均未知， 检验统计量：
$$ F=\frac{S_1^2}{S_2^2} \sim F(n_1-1, n2-2),\quad 拒绝域：f > F{\alpha/2}(n_1-1,n2-1)\; 或\; f < F{1-\alpha/2}(n_1-1,n_2-1) $$
参考“期望 $\mu$ 检验”备注。
大样本检验法
类比区间估计的大样本方法