本文共 795 字,大约阅读时间需要 2 分钟。
http://blog.csdn.net/qykshr/article/details/23273105
本文要证明为什么对高斯分布的方差的极大似然估计是有偏的。同时,也说明为什么求样本方差时,分母是N-1而不是N。
首先,明白两点,(1)极大似然法得到的高斯方差是什么形式(2)什么是有偏。
(1)先说第一个问题,用极大似然估计得到的高斯方差是什么。
假设有n个符合高斯独立同分布的观测值
,我们要根据这些样本值估计正态分布的期望和方差。
以上信息可以表示为:
(1)
极大似然估计就要找需要合适的和使得(1)式具有最大值。
对上式两边同时取对数,得
(2)
取对数操作的好处:1、log函数在定义域上是单调函数,便于求极值 2、便于计算机计算,因为过小的值做乘法运算可能会导致溢出,取对数操作之后,将乘法转换为加法,避免了这个问题。
对(2)式右边对求偏导,并令导数值为零,解得
(3)
对(2)式右边对求偏导,并令导数值为零,解得
(4)。
现在得到期望和方差的表达形式了,接下来判断他们是否有偏。
(2)有偏与无偏
如果一个变量的期望等于他的理想值,那么就称该变量无偏;否则称为有偏。
在下面的证明中,会用到多变量和、积的期望以及多变量和、积的方差公式:
当多个变量相互独立时,有
另外,
,因为,是的一个实例,服从什么分布,当然也服从。
预备知识讲完了,下面开始证明:
对于期望估计有,
(5)
对于方差估计则比较麻烦一些,
首先,对平方进行展开,再进行一些合并
(6)
接着,分别求其中的后两项
(7)
(8)
最后,将(7)、(8)式带入(6)式,得
(9)
终于大功告成,所以均值估计是无偏的,方差估计是有偏的。那么无偏的方差估计应该是什么形式?
答案是,
(10)
这也就是为什么求样本方差的时候分母是N-1而不是N。
这种形式的方差估计的无偏性读者可以仿照上面进行证明。