[发明专利]一种基于禁忌搜索算法优化支持向量机的方法

说明书

技术领域

本发明涉及一种支持向量机优化方法，特别地，涉及一种基于禁忌搜索算法优化支持向量机的方法。

背景技术

由于支持向量机在众多领域应用广泛，其重要性日益凸显，而参数选择直接影响支持向量机识别目标性能的优劣。如何确定支持向量机的参数是研究支持向量机的重要内容，也就顺其自然成了研究热点。目前，有很多智能算法被用于支持向量机参数的优化，而禁忌搜索算法以其较高的求解质量和效率以及在诸多组合优化邻域显示出的强大的寻优能力得到人们越来越多的青睐。

本发明将禁忌搜索算法用于支持向量机参数的优化，对禁忌搜索算法做了一些改进并基于标准数据集进行了测试，与基于结构风险上界的支持向量机参数选择相比表明本发明算法有较好地性能。

禁忌搜索算法通过引入禁忌表和禁忌准则来避免迂回搜索，并通过特赦准则来赦免一些被禁忌的优良状态，进而保证多样化的有效搜索，最终实现全局优化。在文献题目：《基于结构风险上界的SVM参数选择》，作者：宋小杉，蒋晓瑜，罗建华，汪熙，科技导报2011，29(08)中，给出了结构风险上界的算法，提出了一种基于结构风险上界的SVM参数选择方法，可以得到使SVM泛化性较强的参数。

但是支持向量机参数的选取至今仍然没有一个统一的标准，参数选取大多依靠经验采取试凑的方法，这样不仅费时而且很难得到满意的结果。

发明内容

在应用支持向量机解决具体问题时，首先考虑核函数的选取及参数的选择。虽然目前关于核函数在理论研究和应用上取得了一定的成果，但尚未形成指导支持向量机参数选取的理论。本发明要解决的技术问题是：针对现有支持向量机选取参数时的盲目性和低效率，提出一种基于禁忌搜索算法优化支持向量机的方法。通过该算法，能够更加有针对性和高效地选取支持向量机参数，通过禁忌搜索得到解空间内的近似最优参数，进而使得支持向量机的分类效果和全局寻优性能有一定程度上的提升。

本发明是通过以下技术方案实现的：

一种基于禁忌搜索算法优化支持向量机的方法，原始数据是经典的测试函数Shaffer’s F6。

第一步首先使用禁忌搜索算法对支持向量机的惩罚因子和核函数参数进行优化。具体分为以下几个部分来实现：

第一步A，给定算法参数，随机产生初始参数c、γ，初始化禁忌表并将tab设定为空，分别对全局最优解best_glo和局部最优解best_loc进行初始化，置逃逸状态es为0(即表明了初始处于非逃逸状态)；

第一步B，判断算法终止条件是否满足。若是，则结束算法并输出优化结果；否则，继续以下步骤；

第一步C，计算当前参数取到的次数，据此设定邻域半径jump；

第一步D，记录局部最优记录best_loc连续未更新的步数，如果这一步数超过了预先设定的阈值，可以认为当前解陷入局部最优。算法开始逃逸，探索得到逃逸点，加入逃逸候选集es_para，置逃逸状态es为1；

第一步E，判断是否处于逃逸状态(es＝1)，若是，邻域半径jump置为1，参数依次取逃逸候选集中的参数，否则，继续以下步骤；

第一步F，基于邻域半径jump按照一定规则产生一定数量的邻域解，作为候选解；

第一步G，通过SVM计算得到每个邻域解的适配值，即该解产生对应的分类正确率，将对解按照正确率从大到小排序；

第一步H，依次对候选集中的元素做判断：看该参数对应的正确率是否大于局部历史最优记录，如果大于，则替换局部历史最优记录，更新禁忌表，将该解作为下一步搜索的起始点；否则，继续下面步骤；

第一步I，判断该参数是否在禁忌表中，如果不在，加入禁忌表，将该参数作为下一步搜索的起始点；否则，判断下一个解；如果没有得到大于历史最优记录的或者不在禁忌表中的解，将最佳参数作为下一步搜索的起始点；

第一步J，转步骤(1.B)。

第二步，利用得到的近似最优参数训练得到最优支持向量机模型，并以此为基础对测试函数进行实验，验证支持向量机的分类性能和搜索全局最优解的能力，使用禁忌搜索算法优化过的支持向量机模型对待寻优函数和分类样本进行处理。