在统计学中我们有时候不能知道总体的全部信息而只能知道部分样本信息(这里不讨论大数据= =.). 我们要做的是,根据样本信息来推测总体信息. 这在统计学中有一个术语叫:统计推断,而它又分为两类,即参数估计(估计理论)和假设检验(检测理论).

现在我们先不考虑统计学中的参数估计问题,让我们先来看看如何用一个常数或一随机变量来估计一个另一个随机变量的问题.

均方估计

比如测量一物体的长度,考虑误差,其长度为一随机变量$X$. 假设它依赖于其它随机变量$X_n$,那么如何估计?用哪个函数评估好坏?

  • 首先,我们用该随机序列的一个函数$g(X_1,\cdots,X_n)$去估计$X$
  • 其次,要求使目标最小化$\min \mathbb{E} \lbrace [X-g(X_1,\cdots,X_n)]^2 \rbrace$

显然,函数$g(X_1,\cdots,X_n)=\mathbb{E} \lbrace X|X_1,\cdots,X_n\rbrace$是解.

但是我们必须需要知道这些随机变量的联合密度分布.一般来说$g(X_1,\cdots,X_n)$是非线性的,但是我们可以将问题简化:

常数均方估计:

当我们认为$X$与随机序列$X_n$独立,则显然,这个估计就是$X$的期望值.

线性均方估计:

我们认为$g(X_1,\cdots,X_n)=a_1X_1+\cdots+a_nX_n$,使均方误差 $$ e=\mathbb{E}\lbrace [X-g(X_1,\cdots,X_n)]^2\rbrace $$ 为极小的常数$a_n$可用给定随机亦是的二阶矩$R_{ij}=\mathbb E\lbrace X_iX_j\rbrace$来确定. 若$\mathbb E\lbrace X_i\rbrace=0$,则$R_{ij}$是随机变量$X_i$和$X_j$的协方差

正交性原理

使上式成立的常数$a_n$是使得误差正交于$X_n$的