[发明专利]基于样本分布密度改进KKT条件的SVM增量学习方法

说明书

本发明公开了一种基于样本分布密度改进KKT条件的SVM增量学习方法，包括：获得分类器的支持向量集SV₀与分类器的标准KKT条件Ⅰ；构建SVM分类器Model_old的改进KKT条件Ⅰ；判断新增样本集B中样本是否满足SVM分类器Model_old的标准KKT条件Ⅰ；对新增样本集B中样本进行二次判断，判断是否满足SVM分类器Model_old的改进KKT条件Ⅰ；由候选支持向量集SV₁训练分类器Model₁；计算满足分类器Model₁的改进KKT条件Ⅱ；采用SV₀∪SV₁∪SV_add集合训练分类器并输出更新后的分类器Model₂。本发明提出的基于样本分布密度改进KKT条件能够实现样本分布不均衡的情况下对新增样本的有效筛选，提高SVM增量学习算法的泛化能力。

技术领域

本发明属于机器学习技术领域，涉及一种基于样本分布密度改进KKT条件的SVM增量学习方法。特别是针对样本分布不均匀情况下的SVM增量学习，可用于自动化增量学习下的SVM分类器在线更新。

背景技术

支持向量机(Support Vector Machine，SVM)是20世纪90年代由Vapnik提出的一种机器学习模式识别分类算法，参考文献[Vapnik V.Statistical learning theory.NewYork:John WileySons,Inc.,1998]，在小样本、高维特征的分类任务中表现优异。传统SVM算法是一种批量学习模式，即假设训练之前所有的训练样本可以一次性得到，训练完成则学习过程终止。然而在实际应用中，训练样本通常不可能一次全部得到，而是随着时间逐步得到的，新增样本包含的信息会随着时间产生变化。因此，分类器需要具备不断从这些样本数据中学习有用知识的能力，从而实现在新增样本条件下的分类器在线更新。

如何从新增样本数据中学习有用知识、保证通过学习训练更新后的模型具备更优的分类性能成为需要解决的重点问题。这个问题可以通过增量学习保留新增样本的重要信息来解决。增量学习思想概括为：在原有知识库的基础上，仅对新增数据引起的变化对原有知识库进行更新。这将可以大幅度节省新样本数据加入后的训练时间和内存需求。

Syed等提出的SVM增量学习算法是早期较为经典的算法，参考文献[Syed N A,LiuH,Sun K K.Incremental learning with support vector machines.Proc.Int JointConference on Artificial Intelligence,1999.]，该算法的基本思想是只保留原分类模型的支持向量，与新增数据样本进行增量训练。这种算法没有对新增样本进行筛选，一些对分类精度无增益效果的新增样本也进行了训练，因此增量学习的效率较差且影响分类精度。之后研究人员引入Karush-Kuhn-Tucker(KKT)条件来筛选新增样本，提出了基于KKT条件的SVM增量学习算法。2014年，张灿琳等在KKT条件的基础上引入新增样本误分点错误驱动思想，提出一种新的SVM增量学习算法，参考文献[张灿琳,姚明海,童小龙,等.一种新的基于KKT条件的错误驱动SVM增量学习算法.计算机系统应用,vol.23(1),pp.144-148,2014]。这类基于KKT条件的SVM增量学习算法虽然实现对新增样本的筛选，但是泛化能力较差。在新增样本的分布不均匀情况下，已有的基于KKT条件的SVM增量学习方法不能对分布密度明显不一致的新增样本进行自适应筛选，在样本分布不均衡的情况下，这些方法更新后的SVM分类器的分类精度将明显偏低。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于样本分布密度改进KKT条件的SVM增量学习方法，以解决现有技术中SVM增量学习算法在样本分布不均衡情况下对新增样本学习能力较差，分类器泛化能力低和分类精度低的问题。