[发明专利]一种基于神经网络的非线性特征选择方法

说明书

本发明公开了一种基于神经网络的非线性特征选择方法，针对无监督学习方法仅通过分析特征之间的关系，而无法利用样本标签携带的重要信息；同时，工业过程具有非线性、复杂耦合、迟滞等特点，无法通过线性误差函数获得准确特征权值。提出以神经网络误差函数代替稀疏正则化模型的线性误差函数，并根据神经网络权值的复杂性，对神经网络输入层权值进行组稀疏约束，来提高稀疏正则化模型的非线性问题预测精度。另外，对神经网络求解时，以L_2,1范数为误差函数求解，降低异常值对特征选择结果的影响。

技术领域

本发明涉及特征选择工程中的特征选择领域，着重设计一种基于神经网络回归函数调整，增强特征选择模型鲁棒性的非线性特征选择方法。

背景技术

随着工业流程中自动化水平的不断提高，越来越多的重要位置由人工控制改为使用计算机监控，机器视觉技术就是其中的重要组成部分。机器视觉技术因其高效性、准确性和客观性等优点，有利于工业过程解决人工成本高、难以实时监控和控制精度低等问题，已广泛应用到各工业过程的软测量、故障诊断和产品分类等领域。然而，在机器视觉的图像数字化过程中高维样本不可避免地存在维度灾难和数据噪声问题。为了避免维度灾难，降低噪声影响，研究人员提出了特征选择方法技术，通过去除不相关或冗余特征，降低模型复杂度，提高学习性能。

目前，工业上常见的特征选择方法大多是以过滤式特征选择方法为主，通过分析特征间的相关性和特征散度，保留尽可能多的特征信息，但忽略了样本的标签信息，是一种无监督学习方法。稀疏正则化模型是一种简单高效的特征选择方法，该方法建立特征和标签量之间的线性误差函数，同时对特征权值进行稀疏约束，通过求解约束条件下的权值误差函数得到最优特征选择结果。然而，工业过程具有非线性、复杂耦合、迟滞等特点，经典稀疏正则化模型依据的线性误差函数无法准确描述工业过程特征关系，导致得到的特征选择结果不够精确。

发明内容

为克服上述现有方法的不足，本发明提出了一种基于神经网络的非线性特征选择方法，简称为RSBP。

本发明的目的是，针对无监督学习方法仅通过分析特征之间的关系，而无法利用样本标签携带的重要信息；同时，工业过程具有非线性、复杂耦合、迟滞等特点，无法通过线性误差函数获得准确特征权值。提出以神经网络误差函数代替稀疏正则化模型的线性误差函数，并根据神经网络权值的复杂性，对神经网络输入层权值进行组稀疏约束，来提高稀疏正则化模型的非线性问题预测精度。另外，对神经网络求解时，以L_2,1范数为误差函数求解，降低异常值对特征选择结果的影响。

本发明的技术方案是：

一种基于神经网络的非线性特征选择方法，包括以下步骤：(1)神经网络嵌入：以神经网络误差函数代替稀疏正则化模型的线性误差函数，同时对神经网络输入层权值进行组稀疏约束，建立非线性特征选择模型；(2)鲁棒性优化：利用L_2,1范数的鲁棒性，对神经网络进行鲁棒性优化，建立RSBP的目标函数；(3)优化策略：引入类L_2,1范数的光滑函数，根据投影梯度下降法求解神经网络的迭代函数得到最优权值矩阵，取每个输入层神经元对应权值向量的绝对值之和作为特征重要性指标，解决所提出的问题。

所述基于神经网络的非线性特征选择方法，所述步骤(1)：

经典稀疏正则化模型(Lasso)可以理解为在满足L₁范数约束条件下求线性回归问题的最优解β，其中y＝(y₁,…,y_N)表示N维响应向量，输入量X为一个N×p矩阵,可以构造拉格朗日函数如下：

以神经网络误差函数代替稀疏正则化模型的线性误差函数，并根据神经网络权值的复杂性，对神经网络输入层权值进行组稀疏约束，得到非线性特征选择模型：