
均方误差
均方误差(mean-square error, MSE)是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量,(θ-t)2的数学期望,称为估计量t的均方误差。它等于σ2+b2,其中σ2与b分别是t的方差与偏倚。
基本介绍
- 中文名:均方误差
- 外文名:mean-square error, MSE
- 意义:反映估计量与被估计量差异程度
- 相关概念:估计量、有偏估计、点估计等
名词介绍
相合估计(或一致估计)是在大样本下评价估计量的标準,在样本量不是很多时,人们更加倾向于基于小样本的评价标準,此时,对无偏估计使用方差,对有偏估计使用均方误差。
一般地,在样本量一定时,评价一个点估计的好坏标準使用的指标总是点估计
与参数真值
的距离的函式,最常用的函式是距离的平方,由于估计量
具有随机性,可以对该函式求期望,这就是下式给出的均方误差:




均方误差是评价点估计的最一般的标準,自然,我们希望估计的均方误差越小越好,注意到






如果
是θ的无偏估计,则
,此时用均方误差评价点估计与用方差是完全一致的,这也说明了用方差考察无偏估计是合理的。


当
不是θ的无偏估计,就要看其均方误差
,即不仅看方差大小,还要看其偏差大小,下面的例子说明在均方误差的含义下,有些有偏估计优于无偏估计。


公式
一致最小均方误差估计
定义1 设有样本
对待估参数θ,有一个估计类,称
是该类中θ的一致最小均方误差估计,如果对该类估计中另外任意一个θ的估计
,在参数空间
上都有





一致最小均方误差估计通常是在一个确定的估计类中进行的,一致最小均方误差估计一般是不存在的。
既然一致最小均方误差估计一般是不存在的,人们通常就对估计提出一些合理性要求,如无偏性就是一个常见的合理性要求。
一致最小方差无偏估计
前面曾指出,均方误差
由点估计的方差
与偏差
的平方两部分组成,当
是θ的无偏估计时,均方误差就简化为方差,此时一致最小均方误差估计就是一致最小方差无偏估计。




定义2 设
是θ的无偏估计,如果对于任意一个θ的无偏估计
,在参数空间
上都有




