通俗的讲,点估计就是用样本值的一个函数去估计总体分布的参数。

数学表述

已知总体分布形式为$D(\theta,…)$,其参数未知,抽样得一个样本${x_i}$,我们想估计总体分布各参数的一个函数值$a=f(\theta,…)$, 通过$\hat{a}=g(x_1,…x_n)$作为总体参数函数$a$的估计,问是否可行,如何评价好坏?

矩估计

我们发现一些具体分布的参数总是该分布的统计量(或函数),所以自然而然的,将样本的统计量作为分布的统计量代入即可。

极大似然估计

由独立同分布可以得出,随机向量$X_i$的联合分布密度是$L=\prod_{i}f(X_i;\theta,…)$,产生的样本值必然最符合该函数,所以对于样本来说$\frac{\partial L}{\partial \theta}=0$

贝叶斯估计

该估计直接利用贝叶斯公式进行,基于参数的先验分布对样本计算得到后验分布。注意,得到的是一个分布。

评价标准–无偏

无偏

如果$\mathbb{E}_{\theta,…}(\hat{a})=f(\theta,…)$,则我们称$\hat{a}$是$f(\theta,…)$的一个无偏估计量。

请推导样本方差的无偏估计

最小方差无偏

无偏估计一般会有很多,如何确定哪一个更好呢?

当然是用方差来确定啦。