[发明专利]一种基于神经网络的非线性特征选择方法

权利要求书

1.一种基于神经网络的非线性特征选择方法，其特征在于，包括以下步骤：(1)神经网络嵌入：以神经网络误差函数代替稀疏正则化模型的线性误差函数，同时对神经网络输入层权值进行组稀疏约束，建立非线性特征选择模型；(2)鲁棒性优化：利用L_2,1范数的鲁棒性，对神经网络进行鲁棒性优化，建立RSBP的目标函数；(3)优化策略：引入类L_2,1范数的光滑函数，根据投影梯度下降法求解神经网络的迭代函数得到最优权值矩阵，取每个输入层神经元对应权值向量的绝对值之和作为特征重要性指标，解决所提出的问题。

2.根据权利要求1所述基于神经网络的非线性特征选择方法，其特征在于，所述步骤(1)：

经典稀疏正则化模型(Lasso)可以理解为在满足L₁范数约束条件下求线性回归问题的最优解β，其中y＝(y₁,…,y_N)表示N维响应向量，输入量X为一个N×p矩阵,可以构造拉格朗日函数如下：

以神经网络误差函数代替稀疏正则化模型的线性误差函数，并根据神经网络权值的复杂性，对神经网络输入层权值进行组稀疏约束，得到非线性特征选择模型：

a^m＝f^m-1((W^m-1)^Ta^m-1+b^m-1) (3)

其中，E表示误差函数，h表示约束函数，w表示特征权值，f为激活函数，λ为稀疏系数，M为表示神经网络层数，a^m表示第m层净输出，b^m表示第m层偏置值。

3.根据权利要求2所述基于神经网络的非线性特征选择方法，其特征在于，在设定神经网络参数的时候隐含层激活函数，采用ELU函数作为激活函数：

4.根据权利要求1所述基于神经网络的非线性特征选择方法，其特征在于，所述步骤(2)：L_2,1范数相较于L₁范数具有更好的鲁棒性，在原始稀疏化神经网络的基础上加入鲁棒性约束：

5.根据权利要求1所述基于神经网络的非线性特征选择方法，其特征在于，所述步骤(3)：由于L_2,1范数为非光滑函数，需要设立一个类L_2,1范数的光滑函数，然后根据投影梯度下降法求解神经网络的迭代函数，取每个输入层神经元对应权值向量的绝对值之和作为特征重要性指标，其过程为：

引入一个类L_2,1范数：L_R,1范数，该函数通过在不可微的点处加入平滑项使整个函数可微；L_R,1范数如下所示：

表示极小值，当时，L_R,1范数与L_2,1范数等价，同时，由于加入了极小值确保函数的导数不为0，即整个定义域内可微；

假设神经网络层数为4层，ELU函数为激活函数，神经网络各层神经表示为l-i-j，同时用L_R,1范数代替L_2,1范数，带入得到以下结果；

对目标函数进行整体求导得到权值更新公式

计算各层神经元输出o^m：

然后根据误差反向计算各层偏导数：

令s^m表示敏感性：

引入导数矩阵：

由此得到：

最后更新权值和偏置值

通过上述公式反复迭代更新优化直到满足停止条件，得到神经网络的最优输入层权值矩阵；最后，取每个输入层神经元对应权值向量的绝对值之和作为特征重要性指标，得到特征选择结果。