[发明专利]一种神经网络模型的训练方法及装置

权利要求书

1.一种神经网络模型的训练方法，其特征在于，包括：

获取步骤，获取第一训练样本集和第二训练样本集，所述第一训练样本集为未标注的图像样本集，所述第二训练样本集为已标注的图像样本集；

预训练步骤，采用所述第一训练样本集对神经网络模型进行预训练，获得初始神经网络模型；

微调步骤，采用所述第二训练样本集对所述初始神经网络模型进行进一步训练，获得微调后的神经网络模型；

判断步骤，判断所述微调后的神经网络模型是否满足训练结束条件，在满足训练结束条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行所述预训练步骤和所述微调步骤。

2.根据权利要求1所述的神经网络模型的训练方法，其特征在于，在所述预训练步骤之前，所述方法还包括：

构建神经网络模型，所述神经网络模型为卷积神经网络模型，所述卷积神经网络模型包括卷积模块、自编码模块和识别模块；

其中，所述卷积模块包括N个并联的子卷积模块，所述子卷积模块包括卷积层和最大池化层，所述卷积模块用于将图像分别在N个子卷积模块中提取特征信息；所述自编码模块包括2层卷积层，用于将N个子卷积模块提取的特征信息进行融合；所述识别模块用于根据提取的特征信息识别目标图像。

3.根据权利要求2所述的神经网络模型的训练方法，其特征在于，所述预训练步骤，包括：

对所述第一训练样本集的原始特征采用稀疏特征表示；

将用稀疏特征表示后的第一训练样本集输入卷积神经网络模型进行预训练，所述预训练的过程为不断优化稀疏编码目标函数L1和目标函数最小化重构损失L2的过程，直到L1、L2最小化，获得初始神经网络模型；

其中，所述稀疏编码目标函数L1的表达式如下：

式中，xⁱ为原始特征，B为基向量，zⁱ是xⁱ的稀疏表示，λ为正则参数，γ为基向量参数，ε为超参数；

所述目标函数最小化重构损失L2的表达式如下：

式中，V是本层的输入，是下一层的输入。

4.根据权利要求1所述的神经网络模型的训练方法，其特征在于，所述微调步骤，包括：

构建目标函数，所述目标函数表达式如下：

式中：W表示整个网络参数，m表示第二训练集样本大小，C表示图像类别数量，表示样本的概率向量，表示第二训练集中图像的标注；

采用第二训练样本集对所述初始神经网络模型进行进一步训练，所述进一步训练的过程为不断优化所述目标函数的过程，直到所述目标函数最小化，获得微调后的神经网络模型。

5.一种神经网络模型的训练装置，其特征在于，包括：

获取模块，用于获取第一训练样本集和第二训练样本集，所述第一训练样本集为未标注的图像样本集，所述第二训练样本集为已标注的图像样本集；

预训练模块，用于采用所述第一训练样本集对神经网络模型进行预训练，获得初始神经网络模型；

微调模块，用于采用所述第二训练样本集对所述初始神经网络模型进行进一步训练，获得微调后的神经网络模型；

判断模块，用于判断所述微调后的神经网络模型是否满足训练结束条件，在满足训练结束条件的情况下，结束所述训练方法；以及在不满足所述训练结束条件的情况下，重复执行所述预训练模块中的预训练步骤和所述微调模块中的微调步骤。

6.根据权利要求5所述的神经网络模型的训练装置，其特征在于，所述装置还包括：

模型构建模块，用于构建神经网络模型，所述神经网络模型为卷积神经网络模型，所述卷积神经网络模型包括卷积模块、自编码模块和识别模块；

其中，所述卷积模块包括N个并联的子卷积模块，所述子卷积模块包括卷积层和最大池化层，所述卷积模块用于将图像分别在N个子卷积模块中提取特征信息；所述自编码模块包括2层卷积层，用于将N个子卷积模块提取的特征信息进行融合；所述识别模块用于根据提取的特征信息识别目标图像。