[发明专利]基于神经网络敏感性的特征选择方法及其装置

说明书

技术领域

本发明涉及神经网络设计时的学习样本的特征选择方法及其装置，尤其涉及可有效提高神经网络分类效率的基于特征选择的学习样本特征选择方法及其装置，属于智能科学与技术中的机器学习领域。

背景技术

在设计一些种类的神经网络分类器时，由于特征向量维数很高，往往会导致网络结构庞大。庞大的网络会导致训练困难、需要更多的训练样本、训练时间过长等等弊端。在实际应用中，往往希望使用维数较低的样本，以构筑泛化性能较好的分类器。

特征选择技术是将维数较高的样本经过某种准则的筛选，变成维数较低的样本使得特定指标最优化的技术。基于搜索策略划分，常见特征选择算法可以归为下面3类：

第一类：指数算法(Exponential algorithms)

这类算法对特征空间进行穷举搜索（当然也会采用剪枝等优化），搜索出来的特征集对于样本集是最优的。这类算法的时间复杂度是指数级的。

第二类：序列算法(Sequential algorithms)

这类算法实际上是一种贪心算法，算法时间复杂度较低，但是可能会陷入局部最优值，不一定能找到全局最优解。

第三类：随机算法(Randomized algorithms)

随机算法属于一种近似算法，能找出问题的近似最优结。随机算法在近似求解NP完全问题上显示出突出的优势，可尝试用在特征选择上。

基于评价准则划分，特征选择方法可以划分为过滤式（Filter）和封装式（Wrapper）。过滤式与后续学习算法无关，一般直接利用所有训练数据的统计特性评估特征，速度快，但评估与后续学习算法的性能偏差较大。封装式利用后续学习算法的训练准确率评估特征子集，偏差小，计算量大，不合适大数据集。

过滤式是大数据集特征选择中最常用的方法。过滤式特征选择方法最重要的就是选择特征合适的特性。本发明中我们选择的就是特征的敏感性。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种以敏感性为基准的特征选择方法和装置，从而有效提高神经网络分类器的分类性能。

技术方案：一种基于神经网络敏感性的特征选择方法，包括以下步骤：

1）使用训练样本集训练神经网络，得到经过训练的分类器；

2）根据得到的分类器计算各个特征的敏感性，并根据敏感性从大到小排序；

3）根据需要从排序中取前若干个敏感性大的特征作为新特征集。

本发明的另一目的在于提供一种基于神经网络敏感性的特征选择装置，所述装置包括：

训练模块，其利用已有的训练样本集训练神经网络，得到经过训练的分类器；

计算模块，其利用经过训练的分类器计算各个特征的敏感性，并根据敏感性从大到小排序；

特征选择模块：其根据预设的数值从排序中取前若干个敏感性大的特征作为新特征集。

本发明具有如下有益效果：

（1）本方法在选择样本特征时采用了一种新颖的特征选择算法，相对于使用全部特征构建分类器而言，经过选择的特征能更好地代表样本的特性，并且能够降低训练分类器所耗费的时间和代价，提高神经网络的泛化能力。

（2）根据本发明的特征选择方法及其装置提出了一种基于敏感性的有效特征选择方法，通过挑选敏感性大的特征，这些特征往往对训练分类器是重要的。通过这样的方法可以有效减少特征数量，提高分类器的性能。

附图说明

图1为多层感知机（Multi-layer perceptron，MLP）神经网络结构图；

图2为本发明具体实施方式的基于神经网络敏感性的特征选择方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

以多层感知机神经网络为例，说明根据本发明的前向神经网络样本选择方法。然而，本领域的技术人员应理解，本发明不限于MLP神经网络，而是可以应用于其它前向神经网络。