[发明专利]一种分类器及其设计方法和增量学习方法

说明书

一种具有拒识机制的分类器设计方法及其增量学习方法，包括构造同类特征集合的紧密包裹集，其包括优化致密性参数，以及构造紧密包裹集；求解同类特征区域紧密包裹曲面，其包括求解分类决策函数和分类决策曲面；设置分类器的拒识机制，其包括求出每类样本对应的判别函数和分类决策紧密包裹曲面，然后将紧密包裹曲面之外的公共区域设置为分类器的拒识区域。同时，基于上述分类器设计方法提出了当增加新类别、增减训练样本时的增量学习方法。最终得到了一种具有合适拒识机制分类器设计方法，提高了正确识别率，增量学习功能的引入在提高工作效率的同时节约了资源。

技术领域

本发明涉及分类技术领域，具体涉及一种分类器及其设计方法，并涉及一种增量学习方法。

背景技术

在做重大疾病认证识别、通过生物特征对人身份认证识别、钞票认证识别、票据认证识别、恐怖分子认证识别等分类器设计时，往往需要引入合适拒识机制，以便分类器工作时，要么拒识，要么分类绝对正确。也即要求(1)拒识率很小，拒识率即，在公共测试样本库中，拒识的样本个数与测试样本库的总样本个数之比；(2)正确识别率为100％或逼近100％，正确识别率即，在去掉拒识的样本之后的测试样本库中，正确分类样本个数与总样本数的比例。若拒识率较大，则分类器的实用范围和场合受到限制。若正确识别率不能逼近100％的话，则人们不敢直接仅用该识别器去认证一些特别重要事物或事件。显然拒识率小与正确识别率高是矛盾事件，解决该矛盾十分困难。

要做到拒识率小、正确识别率高实际上就是要设计识别器，使该识别器确定的同Cw类样本的特征区域(把区域内的任一点视为w类样本点，而把区域之外点视为别的类点或拒识点)几乎包含了w类所有样本点形成的实际特征区域(几乎不损失自己领域)，同时几乎不侵占别的已知类的特征区域和未知可能类的特征区域。

一个很好的识别系统应该有增量学习功能。增量学习功能使识别系统更正训练样本、增减训练样本和增减识别类时，识别系统能继承系统已有的大部分知识，能不断优化和升级。

支持向量机(SVM)思想是支持向量机将所有特征向量映射到一个很高维的空间里，在这个空间里建立有一个最大间隔超平面，该超平面对应的原始空间曲面就是分类决策面。在分开两类特征向量(数据)的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。显然，SVM确定的同一类特征区域往往是无界区域，而实际的同类特征区域是有界的。因此SVM确定的同一类特征区域侵占了别的其他类的实际特征区域或未知类的特征区域，而且侵占较严重，有较大错分样本的风险。因此不适合直接用于做重大疾病认证识别、通过生物特征对人身份认证识别、钞票认证识别、票据认证识别、恐怖分子认证识别等分类器设计工作。又由于当增加训练样本或增加新类别时，求解SVM分类决策面的工作需要重新进行，因此SVM没有增量学习功能。在多分类的SVM分类器设计中，改变一个训练样本或增加一个类别，相应分类器学习训练过程需要重头开始，分类器无法继承以前训练学习的任何结果，因此SVM多分类器也没有增量学习功能。考虑到有时不同类特征区域不平衡等特性，在许多改进的SVM方法中，也存在些许问题，(1)没有引入合适拒识机制：实际上是不方便确定拒识区域，因为当前方法下，确定了拒识区域并不一定带来正确识别率提高；(2)SVM确定的同一类特征区域会侵占未知类的特征区域，有把未知类样本错判为某已知类的风险，SVM确定的已知类特征区域都尽可能最大化占据未知特征空间，以至于SVM分类器正确识别率不能逼近100％；(3)SVM分类器没有增量学习功能：当增减类别时，学习训练工作要彻底重来，当任一增加或减少训练样本时，学习训练工作也要彻底重来。