1、概率论与数理统计概率论与数理统计 第一节第一节 参数的点估计参数的点估计 点估计概念点估计概念 求估计量的方法求估计量的方法 课堂练习课堂练习 小结小结 参数估计问题的一般提法参数估计问题的一般提法:X1,X2,Xn 设有一个统计总体设有一个统计总体,总体的分布函数为总体的分布函数为 现从该总体抽样，得样本现从该总体抽样，得样本 F(x,)，其中，其中 为未知参数为未知参数(可以是向量可以是向量).要依据该样本对参数要依据该样本对参数 作出估计作出估计,或估计或估计 的某个已知函数的某个已知函数 .这类问题称为这类问题称为参数估计参数估计.)(g 参数估计问题是利用从总体抽样得到的信参数估计问
2、题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数息来估计总体的某些参数或者参数的某些函数.参数估计参数估计 参数估计参数估计 点估计点估计 区间估计区间估计)1.0,(2 N（假定身高服从正态分布（假定身高服从正态分布 ）设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69 这是这是区间估计区间估计.估计估计 在区间在区间 1.57,1.84 内，内，例如我们要估计某队男生的平均身高例如我们要估计某队男生的平均身高.现从该总体选取容量为现从该总体选取容量为5的样本，我们的任的样本，我们的任务是要根据选出的样本（务是要根据选出的样本（5个数）求出总体均值个数
3、）求出总体均值 的估计的估计.而全部信息就由这而全部信息就由这5个数组成个数组成.估计估计 为为1.68，这是这是点估计点估计.一、点估计概念一、点估计概念 随机抽查随机抽查100个婴儿个婴儿 ,得得100个体重数据个体重数据 10,7,6,6.5,5,5.2,呢呢?据此据此,我们应如何估计我们应如何估计 和和 而全部信息就由这而全部信息就由这100个数组成个数组成.例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重 ,2,XN (,)未知未知 为估计为估计 :我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 T(X1,X2,Xn)，每当有了样本，就代入该函数中算出一个值，用
4、来每当有了样本，就代入该函数中算出一个值，用来作为作为 的估计值的估计值.T(X1,X2,Xn)称为参数称为参数 的的点估计量，点估计量，把样本值代入把样本值代入T(X1,X2,Xn)中，中，估计值估计值.得到得到 的一个的一个点点 由大数定律由大数定律,1|1|lim1 niinXnP 自然想到把样本体重的平均值作为总体平均体自然想到把样本体重的平均值作为总体平均体重的一个估计重的一个估计.,11niiXnXniiXXnS122)(11样本体重的平均值样本体重的平均值 我们知道我们知道,若若 ,2,XN ()E X 则则 .用样本体重的均值用样本体重的均值 估计估计 .X 类似地，用样本体重
5、的方差类似地，用样本体重的方差 估计估计 .22S使用什么样的统计量去估计使用什么样的统计量去估计？可以用样本均值可以用样本均值;也可以用样本中位数也可以用样本中位数;还可以用别的统计量还可以用别的统计量.问题是问题是:二、寻求估计量的方法二、寻求估计量的方法 1.矩估计法矩估计法 2.最大似然法最大似然法 3.最小二乘法最小二乘法 4.贝叶斯方法贝叶斯方法 这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.1.矩估计法矩估计法 矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊 最早提出来的最早提出来的.由辛钦大数定理由辛钦大数定理,若总体若总体 的数学期望的数学期望 有限
6、有限,E X X则有则有 11niiXXn ()PE X 11nkkiiAXn ()(1,2,)PkkE Xk 12(,)kg A AA12(,)Pkg 其中其中 为连续函数为连续函数.g 这表明这表明,当样本容量很大时当样本容量很大时,在统计上在统计上,可以用可以用 用样本矩去估计总体矩用样本矩去估计总体矩.这一事实导出矩估计法这一事实导出矩估计法.定义定义 用样本原点矩估计相应的总体原点矩用样本原点矩估计相应的总体原点矩,又又 用样本原点矩的连续函数估计相应的总体原点矩的用样本原点矩的连续函数估计相应的总体原点矩的 连续函数连续函数,这种参数点估计法称为这种参数点估计法称为矩估计法矩估计法
7、.理论依据理论依据:大数定律大数定律 矩估计法的具体做法如下：矩估计法的具体做法如下：那么它的前那么它的前k阶矩阶矩 ,一般都是这一般都是这 k 个参数个参数 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 ,12,k 12,k i=1,2,k 从这从这 k 个方程中解出个方程中解出 j=1,2,k j=1,2,k 12(,)iik 12(,)jjk 12(,)jjkA AA 那么用诸那么用诸 的估计量的估计量 Ai 分别代替上式中的诸分别代替上式中的诸 ,iij即可得诸即可得诸 的的矩估计量矩估计量：矩估计量的观察值称为矩估计量的观察值称为矩估计值矩估计值.的函数的函数,
8、记为：记为：例例2 设总体设总体 X 在在 a,b 上服从均匀分布上服从均匀分布,a,b 未知未知.是来自是来自 X 的样本的样本,试求试求 a,b 的矩估计量的矩估计量.1,nXX解解 1E X 2ab 22E X 2()12ba 2()()D XE X2()4ab 即即 1221212()abba 解得解得 于是于是 a,b 的矩估计量为的矩估计量为 21213()a21213()b213(),niiaXXXn 213()niibXXXn 样本矩样本矩 总体矩总体矩 解解 1E X 22E X 2()()D XE X 例例3 设总体设总体 X 的均值的均值 和方差和方差 都存都存在在,未知
9、未知.是来自是来自 X 的样本的样本,试试求求 的矩估计量的矩估计量.1,nXX2(0)2,2,22解得解得 1AX1 2221于是于是 的矩估计量为的矩估计量为 2,22222111niiAAXXn 211()niiXXn 样本矩样本矩 总体矩总体矩 解解:dxxxXE )1()(10 21)1(110 dxx由矩法由矩法,21 X样本矩样本矩 总体矩总体矩 从中解得从中解得,112XX 的矩估计的矩估计.即为即为 数学期望数学期望 是一阶是一阶 原点矩原点矩 例例3 设总体设总体X的概率密度为的概率密度为 其它其它,010,)1()(xxxf 是未知参数是未知参数,其中其中 1 X1,X2
10、,Xn是取自是取自X的样本的样本,求参求参 的矩估计的矩估计.矩法的优点矩法的优点是简单易行是简单易行,并不需要事先知道总体并不需要事先知道总体是什么分布是什么分布.缺点缺点是是，当总体类型已知时当总体类型已知时，没有充分利用分没有充分利用分布提供的信息布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.其主要原因在于建立矩法方程时，选取那些总体其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性矩用相应样本矩代替带有一定的随意性.2.最大似然法最大似然法 它是在总体类型已知条件下使用的一种参数估它是在总体类型已知条件下使用的一种参数估计方法计
11、方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在 1821年提出的年提出的.Gauss Fisher 然而然而,这个方法常这个方法常归功于英国统计学家归功于英国统计学家费歇费歇.费歇费歇在在1922年重新发现了这年重新发现了这一方法，并首先研究了这种方法一方法，并首先研究了这种方法的一些性质的一些性质.最大似然估计法的思想最大似然估计法的思想 最大似然估计法，是建立在最大似然原理最大似然估计法，是建立在最大似然原理 的基础上的求点估计量的方法。最大似然原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概率最大的事件最有的直观想法是：在试验中概率最大的事件最有可能出现。
12、因此，一个试验如有若干个可能的可能出现。因此，一个试验如有若干个可能的结果结果A,B,C,若在一次试验中，结果若在一次试验中，结果A出现，出现，则一般认为则一般认为A出现的概率最大。出现的概率最大。最大似然估计定义：最大似然估计定义：当给定样本当给定样本X1,X2,Xn时，定义时，定义似然函数似然函数为：为：设设X1,X2,Xn是取自总体是取自总体X的一个样本，样本的一个样本，样本 的联合密度的联合密度(连续型）或联合分布律连续型）或联合分布律 (离散型离散型)为为 f(x1,x2,xn;).)(Lf(x1,x2,xn;)这里这里 x1,x2,xn 是样本的观察值是样本的观察值.似然函数：似然
13、函数：)(max)(LL)(Lf(x1,x2,xn;)最大似然估计法最大似然估计法就是用使就是用使 达到最大值的达到最大值的 去估计去估计 .即即 )(L称称 为为 的的最大似然估计值最大似然估计值.而相应的而相应的统计量统计量 称为称为 的的最大似然估计量最大似然估计量.1(,)n XX 看作参数看作参数 的函数，它可作为的函数，它可作为 将以多大可将以多大可 能产生样本值能产生样本值 x1,x2,xn 的一种度量的一种度量.)(L 求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：（1）求似然函数）求似然函数 L（2）一般地，求出）一般地，求出 及似然方程及似然方程 Lln 0l
14、n iL mi,.,2,1（3）解似然方程得到最大似然估计值）解似然方程得到最大似然估计值 niixxx,.,21 mi,.,2,1（4）最后得到最大似然估计量）最后得到最大似然估计量 niiXXX,.,21 mi,.,2,1.,),1(21的最大似然估计量的最大似然估计量求求个样本个样本的一的一是来自是来自设设pXXXXpBXn,2121一个样本值一个样本值的的为相应于样本为相应于样本设设nnXXXxxx解解 1,0,)1(1 xppxXPXxx的分布律为的分布律为似然函数似然函数 iixnixpppL 11)1()(,)1(11 niiniixnxpp例例5),1ln(ln)(ln11px
15、npxpLniinii ,01)(lndd11 pxnpxpLpniinii令令的最大似然估计值的最大似然估计值解得解得p.11xxnpnii 的最大似然估计量为的最大似然估计量为p.11XXnpnii .,),(22122的最大似然估计量的最大似然估计量和和求求的一个样本值的一个样本值是来自是来自为未知参数为未知参数设总体设总体 XxxxNXn解解 的概率密度为的概率密度为X22()221(;,),2xf xe X 的的似然函数为似然函数为,21),(222)(12 ixnieL例例6,)(21ln2)2ln(2),(ln12222 niixnnL 0),(ln0),(ln222 LL令令,
16、0112 niinx ,0)()(21212222 niixn 解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的最大似然估计量分别的最大似然估计量分别和和故故2 ,X .)(1212XXnnii .,21的最大似然估计量的最大似然估计量求求的一个样本值的一个样本值是来自总体是来自总体未知未知其中其中上服从均匀分布上服从均匀分布在在设总体设总体baXxxxbabaXn解解),min()(nxxxx211 记记),max()(nnxxxx21 的概率密度为的概率密度为X1,(;,)0,axbf x a bba其它例例7,)()(bxxabxxxann 121等价于因为的函数的似然函数为的函数的似然函数为作为作为ba,其它,)(),()()(011nnxbxaabbaL有的任意于是对于满足条件baxbxan,)()(1,)()(),()()(nnnxxabbaL111 ,nnnxxxbxabaL )(,),()()()()(11取到最大值时在即似然函数的最大似然估计值的最大似然估计值ba,min)(i
