[发明专利]一种基于多模态多目标的特征选择算法

说明书

本发明提出了一种基于多模态多目标的特征选择算法，该算法包括以下步骤：对训练数据集进行初始化种群个体，对生成的种群个体进行非支配排序；以KNN的预测精度和选择的特征个数计算适应度值和SDE指标值；根据SDE指标值计算FER值；根据FER值采用轮盘赌策略选中父代个体，通过变异和交叉操作生成新个体，将新个体再进行非支配排序和变异操作；形成新种群，并计算适应度值，将新种群与初始化种群放入档案集中，并进行非支配排序和计算相应的SDE指标值，以帕累托前沿数最下和SDE指标值最下为准则保留档案集中前N个个体。本发明搜索多个最优或次优特征子集，这些解集可用于设计选择特征数量少、分类精度高的学习器以供决策者进行选择。

技术领域

本发明涉及一种基于多模态多目标的特征选择算法。

背景技术

许多进化算法已被用于特征选择，如PSO，GA，DE，ACO，GP等，这些早期的方法是把特征选择问题建模成单目标优化问题，并使用单目标进化算法解决该问题。然而，特征选择中所需要优化的目标不止一个，如分类精度、选择特征的数量、计算复杂度和计算时间等。随后，多目标优化算法也被用来解决特征选择问题。特征选择的目的是从初始数据集中选择出相关的特征来辨别不同类别，而这些特征子集可能并不是唯一的。文献(Kamyab S,Eftekhari M.Feature selection using multimodal optimization techniques[J].Neurocomputing,2016,171:586-597)使用多模态进化算法求解特征选择问题，希望求得多样性好的特征子集，该研究把选择特征的个数和分类错误率加权求和，进而转换成多模态单目标优化问题进行求解，这样虽然最终得到的特征子集能够获得很高的分类精度，但选择的特征数量可能较多。

特征选择中有两个主要的待优化目标：即分类精度和选择特征的个数，这两个待优化的目标中，选择特征的个数越少越好，分类精度越高越好，最终需要找到两个目标的最优折衷解集。然而，在这个最优折衷解集中可能存在不同的特征组合，它们具有相同的特征个数，且使用这些特征组合可以达到相同的分类精度，这种情况即是特征选择中的多模态多目标优化问题。如何解决特征选择中多模态多目标优化问题，是我们目前迫切需要考虑的问题。

多模态多目标优化问题具有多个帕累托解集(Pareto Set，PS)，且有可能同时存在局部和全局帕累托解集，因此若要解决多模态多目标优化问题，求解算法需要具有跳出局部最优的能力，且可以一次提供多个满意解。基于适应度欧氏距离比的差分进化算法(FERDE算法)可以根据自身的信息交互和学习机制自适应地生成若干生境，且在不预先设定小生境半径的情况下找到多个全局最优或次优解。该类算法驱使种群内的个体向比自己优秀且距离较近的个体学习，且不需要预先定义生境的个数、半径等参数，因此具有稳定性强和结构简单的优点。

发明内容

本发明提出一种基于多模态多目标的特征选择(Feature Selection Based onFitness Euclidean-distance Ratio Differential Evolution MultimodalMultiobjective Optimization,FS_FERDE_MMO)算法，该算法以KNN的预测精度和选择的特征个数为适应度值，采用FERDE_MMO算法在搜索空间搜索多个最优或次优特征子集，这些解集可用于设计选择特征数量少、分类精度高的学习器以供决策者进行选择。

本发明的技术方案是这样实现的：一种基于多模态多目标的特征选择算法，包括以下步骤：

(1)采用十折交叉验证方法将初始数据集分为训练数据集和测试数据集，训练数据集用于计算每个个体的适应度，测试数据集用于验证分类的结果；

(2)对训练数据集进行初始化种群个体，随机对每个个体进行编码，“1”代表对应特征被选择，“0”代表未被选择，对生成的种群个体进行非支配排序；