[发明专利]一种基于Fisher判别分析的贝叶斯分类方法

说明书

技术领域

本发明涉及模式识别及机器智能技术领域，具体地说是一种基于Fisher判别分析的贝叶斯分类方法。

背景技术

分类是机器学习，模式识别和人工智能等相关领域广泛研究的问题。近年来，随着相关领域中新技术的不断涌现，分类方法也得到了新的发展。针对不同的分类问题，分类方法多种多样，如决策树分类、支持向量机分类、神经网络分类。在众多的分类方法中，贝叶斯分类器受到了极大地重视。贝叶斯分类器是基于最大后验概率准则的，即利用某对象的先验概率计算其后验概率，并选择具有最大后验概率的类作为该对象所属的类。在贝叶斯模型中， 模型分别模拟每一个类的类条件联合概率分布 ,然后应用贝叶斯定理构建后验概率分类器。但是贝叶斯分类器具有较强的限定，要求属性之间是条件独立的，并且分类器本身也缺乏对训练样本集数据信息的充分利用。在分类器构建过程中并未有效利用类与类之间的信息 ,而这种信息正是分类所需要的。

本文在认真分析了贝叶斯模型结构特点以及构造分类器方法的基础上 , 结合Fisher线性判别分析，给出了一种基于Fisher线性判别分析的贝叶斯分类器。

）经典的贝叶斯分类器

在连续情况下，设观察值                                                是维特征向量，其中是一维随机变量。测量空间由个自然状态组成：，为第类状态的先验概率，为类条件概率密度函数，表示接受属于第类的的条件概率，也称为后验概率。基于后验概率的分类中。问题可描述为：

如果，则。                               （1）

其物理意义为：在观测得到的特征向量发生的条件下，类别的所有条件概率中最大者为应归属的类，这样做可以使识别决策的错误率最小，这一准则称为最大后验概率准则。利用

著名的贝叶斯公式，注意到分母在比较表达式中是一个常数，经过一系列的推导，可以把决策公式（1）表述为：

如果，则。                       （2）

这就构成了经典的贝叶斯分类器。

对于许多实际的数据集，正态假设通常是一种较合理的近似。多元正态函数的概率密度函数为

        

为处理方便，先对其进行对数变换，则可得到如下线性决策函数。

　　                                        （3）

其中

如果使，对一切成立，则将归于类。在这种情况下的贝叶斯分类就是利用式（3）计算出个判别函数，再从中选出对应于判别函数为最大值的类作为决策结果；

2）Fisher线性判别分析

Fisher线性判别分析(Fisher Linear Discriminant Analysis， FLDA)方法是模式识别中一种行之有效的特征提取方法。Fisher线性判别分析力图找到一组最佳的投影方向,在这些投影方向上,可以最好的区分训练集中属于不同类别的样本。

设有一组维的训练样本 ,…, (为维行向量,  >) ,它们分别属于个不同的类别,即其中大小为 的样本子集  属于类别 . Fisher线性判别分析所要解决的基本问题就是寻求一组最佳线性变换，将原始数据通过线性变换后投影到新的样本空间，在新的空间里原始数据得以更好地划分。为确定最佳的投影方向,需要定义下面的矩阵和向量:

类均值向量:                                                    （4）

总体均值向量:                                          （5）

总体散布矩阵为:

=

                      （6）

类内散布矩阵:                              （7）

类间散布矩阵: =                                      （8）

显然,类内散布矩阵表达的是同一类中样本到类内中心的距离,其值的大小表示同类样本的集中程度。其值越小,说明同类样本相对越集中;类间散布矩阵是不同类的中心距离的度量,其值越大,说明异类样本的可分性越好。如果能够使得在投影后的空间,类内样本集中,类间样本分离,即可达到我们的目的.