参数估计

点估计

最大似然估计

设 `p(x";" theta)` 是由参数 `theta` 确定的一族概率密度函数, 我们的任务是对参数 `theta` 作估计, 从中找到一个最接近总体真实情况的密度函数. 现在对总体抽样得到样本 `x_1, cdots, x_n`. 既然观测到了这组样本, 那么很有可能总体在这组样本附近的密度是较大的 (较可能出现的, 似然的). 这引出如下定义:

`theta` 的最大似然估计定义为 `hat theta = underset theta "argmax" prod_i^n p(x_i";"theta)`. 即 `hat theta` 等于 `prod_i^n p(x_i";"theta)` 取最大值时的 `theta` 的值. 实际计算中, 常常取对数, 将乘积运算化为求和.

区间估计

假设检验

假设检验是对总体分布中的参数或总体分布的类型提出假设, 希望通过样本进行判断. 前一种称为参数假设检验, 后一种称为非参数假设检验.

参数假设检验

1. 建立原假设 `H_0: theta = theta_0`;
2. 构造含待检参数 `theta` 的枢轴量;
3. 在假设成立的条件下, 计算当前样本 (以及更离谱的事件) 发生的概率 `p`.
4. 如果 `p` 小于给定的显著性水平 `alpha`, 则拒绝原假设; 否则接受原假设.

设总体 `X` 服从正态分布, 现由容量为 9 的样本算得样本均值 `bar x = 17.4` 和样本标准差 `s = 2.4`. 在 `alpha = 0.05` 的显著性水平下检验 `mu = 18.2` 这一假设.

1. 原假设: `mu = mu_0 := 18.2`;
2. 构造枢轴量 `T = (bar X - mu)/(S//sqrt n) ~ t_8`;
3. 令 `t_0 = (bar x - mu_0)/(s//sqrt 9) = -1`, 在假设成立的条件下, `T_0 = (bar X - mu_0)/(S//sqrt n) ~ t_8`, 从而 `p = P{|T_0| gt |t_0|}` `= 2P{T_0 gt 1} ~~ 0.36 gt alpha`. 所以接受原假设.

非参数假设检验