1、第第3 3章章 BayesBayes决策理论决策理论 第第3 3章章 BayesBayes决策理论决策理论 3.1 最小错误概率的最小错误概率的Bayes决策决策 3.2 最小风险的最小风险的Bayes决策决策 3.3 Neyman-Pearson决策决策 3.4 最小最大决策最小最大决策 3.5 Bayes分类器和判别函数分类器和判别函数 3.6 正态分布时的正态分布时的Bayes决策法则决策法则 3.7 离散情况的离散情况的Bayes决策决策 第第3 3章章 BayesBayes决策理论决策理论 在上一章，我们介绍了线性判别函数，作了一个在上一章，我们介绍了线性判别函数，作了一个假设假设抽
2、取到的模式样本的边界是“整齐”而抽取到的模式样本的边界是“整齐”而不混杂的，而且不混杂的，而且 以后遇到的待分类模式基本上以后遇到的待分类模式基本上不超过学习样本的分布范围，从而利用这些样本不超过学习样本的分布范围，从而利用这些样本得到的分类边界是无误差的。得到的分类边界是无误差的。但是实际上因为试但是实际上因为试验的样本是从总体中随机抽取的，不能保证用过验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要的模式识
3、别方法是非常重要 的。另外，还有特的。另外，还有特征选择不完善所引起的不确定性，模式数据采集征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。确定性。综上，我们引出统计决策的方法。返回本章首页返回本章首页 第第3 3章章 BayesBayes决策理论决策理论 对模式对模式 识别的主要统计方法是识别的主要统计方法是Bayes决策理论，决策理论，它是用概率论的方法研究决策问题，要求它是用概率论的方法研究决策问题，要求（1）各类别先验概率以及条件概率密度均为已）各类别先验概率以及条件概率
4、密度均为已知知，即各类别总体的概率分布是已知的；，即各类别总体的概率分布是已知的；（2）要决策分类的类别是一定的；要决策分类的类别是一定的；返回本章首页返回本章首页 第第3 3章章 BayesBayes决策理论决策理论 3.1 最小错误概率的最小错误概率的Bayes决策决策 在模式识别问题中，感兴趣的往往是尽量减小分在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。最小错误率的决策方法。看一个简单的例子。假设某工厂生产两种大小，外形都相同的螺丝钉，假设某工厂生产两种大小，外形都相
5、同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：要求对它们自动分类。分两种情况讨论：（1）先验概率已知；）先验概率已知；（2）先验概率和条件概率密度函数均已知。）先验概率和条件概率密度函数均已知。返回本章首页返回本章首页 第第3 3章章 BayesBayes决策理论决策理论 先验概率已知先验概率已知 铁螺丝出现的概率铁螺丝出现的概率 铜螺丝出现的概率铜螺丝出现的概率 它们反映了我们在下一个样品出现前对它的类别可能性它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。的先验
6、知识，称这种先于事件的概率为先验概率。合理的决策规则：合理的决策规则：决策错误的概率：决策错误的概率：返回本章首页返回本章首页 1()P2()P121122()()()()PPPP12()min(),()P ePP第第3 3章章 BayesBayes决策理论决策理论 先验概率和条件概率密度函数均已知先验概率和条件概率密度函数均已知 铁螺丝出现的概率铁螺丝出现的概率 铜螺丝出现的概率铜螺丝出现的概率 铁螺丝出现的概率铁螺丝出现的概率 铜螺丝出现的概率铜螺丝出现的概率 螺丝背光源照射后反射光的亮度特征螺丝背光源照射后反射光的亮度特征 求取后验概率：求取后验概率：返回本章首页返回本章首页 1()P2
7、()P1()Px2()Px21()()()()()jjjjjjpPPpPxxxx第第3 3章章 BayesBayes决策理论决策理论 对待分类模式的特征我们得到一个观察值对待分类模式的特征我们得到一个观察值 ，合理的决合理的决策规则：策规则：决策错误的条件概率（随机变量决策错误的条件概率（随机变量 的函数）：的函数）：模式特征模式特征 是一个随机变量，在应用是一个随机变量，在应用Bayes法则时，每当法则时，每当观察到一个模式时，得到特征观察到一个模式时，得到特征 ，就可利用后验概率作，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察出分类的决策，同时也会带来一定的错误概率。
8、若观察到大量的模式，对它们作出决策的平均错误概率到大量的模式，对它们作出决策的平均错误概率 应应是是 的数学期望。的数学期望。返回本章首页返回本章首页 121122()()()()PPPPxxxxx1221()()()PP ePxxxxxx()P e x()P e第第3 3章章 BayesBayes决策理论决策理论 平均错误概率平均错误概率 从式可知，如果对每次观察到的特征值从式可知，如果对每次观察到的特征值 ，是是尽可能小的话，则上式的积分必定是尽可能小的这就证尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的实了最小错误率的BayesBayes决策法则。下面从理论上给予决策法
9、则。下面从理论上给予证明。以两类模式为例。证明。以两类模式为例。返回本章首页返回本章首页()()()P eP epdxxx1()P ex第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 21211221112211221122()(,)(,)()()()()()()()()()()()()RRP eP x RP x RP x RPP x RPp xPdxp xPdxPP ePP e第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 结结 束放映束放映 第第3 3章章 BayesBayes决策理论决策理论 3.2 最小风险的最小风险的Ba
10、yes决策决策 在上一节我们介绍了最小错误率的在上一节我们介绍了最小错误率的Bayes决策，决策，并且证明了应用这种决策法则时，平均错误概率并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念更为广泛的概念风险，举例说明。毋庸置疑，风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策任何风险都会带来一定损失。看一个一般的决策表。表。返回本章首页返回本章首页 第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 第第3 3章章 BayesBayes决策理论决策理论 返
11、回本章首页返回本章首页 12345,x观察或测量到的观察或测量到的 d 维模式特征向量；维模式特征向量；12345,状态或模式类空间状态或模式类空间 决策空间决策空间(,)1,2,5 1,2,5ijij 损失函数，表损失函数，表示真实状态为示真实状态为 而所采取的决策为而所采取的决策为 时所带来的某种时所带来的某种损失。损失。根据根据Bayes公式，后验概率为：公式，后验概率为：ji51()()()1,2,5()()jjjiiipPPjpPxxx第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 对于刚才的决策表考虑如下的一个条件期望损失，即给对于刚才的决策表考虑如
12、下的一个条件期望损失，即给定定 ，我们采取决策，我们采取决策 情况下的情况下的条件期望损失（条件风条件期望损失（条件风险）险）：采取那种决策呢采取那种决策呢？最小风险最小风险Bayes决策规则决策规则：51()(,)()(,)1,2,5iijjijjRPEi xxix1,2,()min()kikiaRR xx12345,第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 综上，可知该规则的进行步骤为：综上，可知该规则的进行步骤为：（1）根据）根据已知已知，计算出后验概率；，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确）利用计算出的后验概率及决策
13、表（专家根据经验确定），计算条件风险定），计算条件风险 （3）最小风险决策）最小风险决策 1()()()()()()()jjjjjciiiPpPpPpPxxxxx1()(,)()1,2,ciijjjRPia xx 1,2,()min()kiiaRRxx第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 这样按最小风险的这样按最小风险的Bayes决策规则，采取的决策将随决策规则，采取的决策将随 的的取值而定，引入函数取值而定，引入函数 ，表示对，表示对 的决策。对整个特的决策。对整个特征空间上所有征空间上所有 的取值采取相应的决策的取值采取相应的决策 所带来的平所带来
14、的平均风险均风险 显然，我们对连续的随机模式向量按最小风险显然，我们对连续的随机模式向量按最小风险Bayes决策决策规则采取的一系列决策行动可以使平均风险最小。规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经分析了两种分别使错误率和风险达到此为止，我们已经分析了两种分别使错误率和风险达到最小的到最小的Bayes决策规则，下面分析一下两种决策规则的决策规则，下面分析一下两种决策规则的关系。关系。()()RRpdx xxxx()xxx()x第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 两类情况下的最小风险两类情况下的最小风险BayesBayes决策决
15、策 损失损失状态状态211211122122自自 然然 状状 态态分类决策分类决策(,)ijij 11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx2121111221222111112222121111122222()()()()()()()()()()()()()()RRPPPPPPxxxxxxxx第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 2111112222121111122222121122()()()()()()()()()()()()PPPPPPPPxxxxxxxx在两类问题
16、中，若有在两类问题中，若有 ，决策规则变为，决策规则变为 这时最小风险的这时最小风险的Bayes决策和最小错误率的决策和最小错误率的Bayes决策规则是决策规则是一致的。一致的。21111222第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 一般的多类问题中，设损失函数为一般的多类问题中，设损失函数为0 0-1 1损失函数损失函数 0 (,),1,2,1 ijiji jcij 11()(,)()()cciijjjjji jRPP xxx1,2,1()min()()ckijicji jRRPxxx第第3 3章章 BayesBayes决策理论决策理论 返回本章首页返回本章首页 1111,2,1,2,11,2,1,2,()()()1()()()min()min()min1()max()cjjcjjcjiiikiiccjicjj iiiicicpPPpPRRPPP xxxxxxxx第第3 3章章 BayesBayes决策理论决策理论 3.3 NeymanPearson决策决策 NeymanPearson决策即限定一类错误率条件下使另一决策即限定一类错误率条件下使
