[发明专利]一种基于JS散度与ADMM算法的无监督特征选择方法

说明书

本发明涉及无监督特征选择技术领域，具体涉及一种基于JS散度与ADMM算法的无监督特征选择方法，基于Filter类型相关性得分向量与JS散度构建优化目标函数，通过优化目标函数可得到高相关低冗余的特征子集，其中相关性得分向量在模型优化过程中会起到影响最终优化向量相关性的作用，而JS散度则在模型优化过程中起到影响最终优化向量冗余度的作用，基于特点最终选择的特征子集将会同时具有相关性高冗余度低的优点有利于提高模型构建的速度，增强模型的泛化能力，减少过拟合风险，并且可以提高模型的分类准确率。同时对于优化问题求解耗时的问题，通过ADMM算法来减少求解优化问题的时间，在较短的时间内可以得到一个较好的结果。

技术领域

本发明涉及无监督特征选择技术领域，具体涉及一种基于JS散度与ADMM算法的无监督特征选择方法。

背景技术

信息技术的快速发展能够很轻松的获取海量的数据，如何从海量数据中获取关键信息也越来越成为人们关注的焦点。特别在数据挖掘以及机器学习领域，海量数据可以带来丰富的训练样本，但是同时可能会造成维度灾难，所以如何从庞大、冗余的数据集合中选择最关键的特征子集从而提高机器学习的效率和模型效果已经成为当前最热的一个话题。

无监督特征选择可大致分为：Filters(过滤型)特征选择、Wrappers(包裹型)特征选择、Embedded(嵌入型)，其中Filter的优点在于速度快，但是与之对应的缺点是根据得分选择的特征子集所训练的模型的预测效果往往不能够达到一个较高的结果。Wrappers型特征选择的特点在于根据模型预测结果来进行特征的选择，毫无疑问wrapper型特征选择能够有较高的模型预测精度，但是wrapper型特征选择通常是有着较高的时间消耗。Embedded特征选择方法的特点是特征选择与模型训练同时进行的，其模型预测精度以及时间消耗是在Filter与Embeded之间。

Filter特征选择方法通过分析特征子集的内部特点来衡量特征的好坏，这类方法通常根据某种规则来对每个特征进行相关性评价，最后得到一个相关性评分向量，最后根据阈值来选择得分最高的特征子集。Filter特征选择方法以其简单、高效性、可应用性强等特点成为当前主要的特征选择方法之一，因此有大量关于对其研究的文章。但是现有的处理方式中，在选择特征时大多只考虑特征的相关性却往往会忽略所选择特征子集的相似性，特征间相似性越高往往就代表着冗余，在有限个数的子集中不能带来更多的有用的信息，因此在特征选择时希望选择的特征子集在具有较高相关性的同时，也具有相对较小的冗余度。

对于优化问题常用的方法往往需要计算目标函数的梯度或者Hessian矩阵，这就使得计算复杂且耗时，同时容易陷入局部最优解。因此减少优化所耗时间的同时能够达到较高的收敛效果，关系着所提出的方法是否能够很好的应用。

发明内容

有鉴于此，为了解决上述技术问题，本发明提供一种基于JS散度与ADMM算法的无监督特征选择方法。

所采用的技术方案具体如下：

一种基于JS散度与ADMM算法的无监督特征选择方法，包括：

基于Filter特征选择算法，获取数据集的特征得分向量；

通过直方图统计算法，获取所述数据集中每个特征的概率分布，并基于JS散度公式，计算得到冗余度矩阵；

将所述特征得分向量和冗余度矩阵作为输入构建目标函数；

根据ADMM算法求解所述目标函数，以进行特征选择。

在一个具体实施方式中，将所述特征得分向量和冗余度矩阵作为输入构建目标函数，包括：

目标函数为：

其中，λ为权重系数，s为特征得分向量，J为冗余度矩阵。