[发明专利]在神经网络中进行特征选择及构建神经网络的方法和设备

说明书

技术领域

本公开涉及数据挖掘技术领域，更特别地涉及一种用于在神经网络中进行特征选择的方法和设备以及一种用于构建用于进行特征选择的神经网络的方法和设备。

背景技术

在大数据时代，可以通过各种数据采集途径获得大量的数据，采集到的数据通常具有非常大的特征维度。然而，在针对采集的数据进行数据挖掘时，并不是所有的特征对于数据挖掘都是有利的。这些特征中有些特征可能是冗余的，而有些特征甚至会对数据挖掘起阻碍作用。因此，需要进行这些特征进行特征选择，以去掉数据中的冗余特征和阻碍特征，从而提高数据挖掘的效率，提升信息提取的效果。

在进行数据挖掘时，可以采用神经网络进行特征提取。神经网络是一种通过对人脑的基本单元——神经元的建模和联接，探索模拟人脑神经系统功能的模型，并研制出一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。基于神经网络，可以对众多特征进行提取和选择，以得到期望特征。

在中国专利申请公开CN1945602A中公开了一种基于神经网络的特征选择技术，其中通过针对神经网络的中间层设置稀疏性约束，使用用户提供的数据集对带有模糊映射层的人工神经网络进行训练，再借助训练好的人工神经网络计算所有特征的重要性度量，来实现特征选择的目的。然而由于该方案是借助训练好的人工神经网络计算所有特征的重要性度量，然后再对特征进行排序和选择，所以该方法的特征选择效率较低。

在中国专利申请CN201410834973.5中公开另一种基于神经网络的特征选择技术，其中通过对神经网络的输入层添加稀疏性约束来在实现人工神经网络进行训练的同时，得到特征选择结果，以提高对人工神经网络进行特征选择的效率。在该技术方案中是基于针对神经网络的输入节点采用L1型惩罚或者分组L1型惩罚来构建神经网络。然而这对于神经网络的损失函数而言仍是一种挑战，这是因为其不但复杂，而且是非线性、非凸问题，这将会造成求解难，效率低。

为此，在现有技术中存在针对特征选择技术的方案进行改进的需要。

发明内容

有鉴于此，公开了一种用于在神经网络中进行特征选择的技术方案以及用于构建用于特征选择的神经网络的方法和设备，以至少部分上消除或者缓解上述问题。

根据本公开的第一方面，提供了一种用于在神经网络中进行特征选择的方法。该方法包括：接收包含待在神经网络中进行特征选择的特征的训练集，所述神经网络包括输入层、中间层、输出层以及连接在所述输入层和所述中间层之间的稀疏层；以及通过所述训练集对所述神经网络进行训练，以确定所述神经网络中的输入层、稀疏层、中间层和输出层之间的连接权重，其中针对所述稀疏层设置有稀疏性约束，用以对与所述稀疏层连接的输入层的节点进行选择。

根据本公开的第二方面，提供了一种构建用于特征选择的神经网络的方法。所述方法包括根据待进行特征选择的特征和输出目标，构造神经网络的输入层、中间层和输出层；以及在所述输入层与所述中间层之间构造稀疏层，所述稀疏层连接在输入层与中间层之间，且针对所述稀疏层设置稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。

根据本公开的第三方面，提供了一种用于在神经网络中进行特征选择的设备。该设备包括：特征接收模块，被配置为接收包含待在神经网络中进行特征选择的特征的训练集，所述神经网络包括输入层、中间层、输出层以及连接在所述输入层和所述中间层之间的稀疏层；以及训练执行模块，被配置为通过所述训练集对所述神经网络进行训练，以确定所述神经网络中的输入层、稀疏层、中间层和输出层之间的连接权重，其中针对所述稀疏层设置有稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。

根据本公开的第四方面，提供了一种构建用于特征选择的神经网络的设备。所述设备包括：网络构造模块，被配置为根据待进行特征选择的特征和输出目标，构造神经网络的输入层、中间层和输出层；以及稀疏层构造模块，被配置为在所述输入层与所述中间层之间构造稀疏层，所述稀疏层连接在输入层与中间层之间，且针对所述稀疏层设置稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。

根据本公开的第五方面，提供了一种计算程序产品，其上包括有计算机程序代码，当被加载到计算机设备中时，其可以使得该计算机设备执行根据本公开的第一方面的方法。

根据本公开的第六方面，提供了一种计算程序产品，其上包括有计算机程序代码，当被加载到计算机设备中时，其可以使得该计算机设备执行根据本公开的第二方面的方法。